大家好，今天带大家 windows 本地一键安装 os 下载通一千问困三点二三二 b 大 模型本地离线跑 i i 对 话全程无门槛、无收费、无 a p i 限制。首先打开浏览器，访问 os 官方网站， 找到页面上的 download for windows， 点击下载 windows 安装包，下载完成后，双击运行安装程序，一路点 install， 等待安装完成。安装结束后，桌面或任务栏会出现 olama 图标，说明服务已自动启动。 首先打开我们安装好的 olama 客户端，可以看到界面上有怒叉的新建对话模型，选择下拉菜单等选项。这里可以直接看到本地已经下载好的模型， 重点是 model location 模型存储位置，我们可以自定义修改模型的存放路径，避免占用系统盘空间。接下来我们点击设置界面的按钮，跳转到 wow 官网。 在官网中我们找到 model 模型库页面，搜索我们想要的模型，比如困三点二到三十二 b， 就 能看到官方提供的下载命令。现在我们复制官网给出的模型下载命令，打开 windows 的 命令提示符， cmd 粘贴命令并回车执行。 欧拉姆会自动开始拉取模型文件，等待下载完成即可。 模型下载完成后，我们回到 omar 桌面客户端，在模型下拉列表里找到刚下载好的模型，选中它。现在我们就可以直接在聊天窗口里和模型对话提问，测试它的回答效果了。 好啦，以上就是 windows 本地安装 omar 并部署模型的完整流程，如果觉得对你有帮助，别忘了点赞收藏，我们下期再见！
粉丝255获赞1450
相关视频
00:34查看AI文稿AI文稿简单三步教你安装最近爆火的小米 miimo v 二 flash 开源大模型，一键本地部署，无需繁琐步骤，使用简单，同时支持手机和平板。接下来我手把手教会大家如何下载它的最新版。 首先点右下角分享键分享复制链接，复制成功后我们打开这个蓝色小鸟，没有的话就去安装一个，打开后会弹出一个资源包，如果没有弹出，就在这里搜索七梦宝库，然后打开这个文件夹，找到这个软件，保存下载安装就可以用啦。
74小情绪1
01:09查看AI文稿AI文稿大家好，跟着我上期视频操作的同学呢，不知道你们拿到了多少亿的 token， 那 这期视频我会教你小米 miimo 接入 cloud code 的 两种办法，一种是使用 cc switch， 一 种是修改本地文件。先说修改本地文件要怎么做，首先我们在 miimo 开放平台把 api key 复制下来，然后找到点 cloud 的 文件，这里面有个 setting， 点 jason 把它打开，把我们刚刚复制的 key 复制的 anserapic or so token 这一行当中。这些资料我都已经整理到了主页粉丝群当中了，我们来测一下哈。 ok， 依然非常完美。如果你用的是 cc switch， 那 么也很简单，在右上角新建一个供应商，我们选到小米 mimo， 再把我们刚刚的 key 复制进来。注意，这个请求地址我们是需要换的，选择兼容 serriffic 接口协议的这个地址复制过来。 最后我们把下面的模型都给它换成 mimo v 二点五 pro， 再点击应用， ok， 还有什么不会的评论区尽管问。
693王子不码
08:21查看AI文稿AI文稿大伙好啊，今个呢，我们聊一下如何在本地哈部署这个拉玛 c p p， 那 么它的作用是什么呢？各位，先说一下啊，它能让我们在本地哈运行啊这个语言类推理的大模型。 那么为什么要在本地部署呢？有几个情况哈？第一个呢，就是最近哈，呃，这个网上都说这个豆瓣要收费了啊，对吧？呃，收费之后呢，有一些功能，可能我们正常用的挺好，再用可能就要付费了，对吧？然后再有一个是什么呢？ 就是我们如果在做项目的时候啊，比如说有一些东西涉密了，不方便在网上传，对吧？这个时候我们就需要在本地，是吧？构建自己的这个资源库，对吧？各位，那么这个时候我们就需要在本地有一个可以类似于像豆包啊，这个 deepsea 啊这种的服务类大模型，对吧？所以呢，今天我们聊一下如何在本地哈部署这个拉玛 c p p， 它呢实际的作用就是可以让我们在本地哈运行啊这个语言推理类的这个大模型，大家看啊，现在我已经部署好了，非常简单哈。那么再有一个情况是什么呢？各位，我们有一个自己的这么一个批量管理软件，是吧？目前有一个环节就是题词词的来源 目前很严重的依赖于我们外部的这个呃， ai 工具，对吧？现在呢，我们如果在本地已经构建了一个可以用来进行语言推理，生成对应任务的这么一个大模型之后呢，各位大家看啊，我们就可以把这个东西直接集成到这个平台当中，是吧？提 着此这一块，我们就最后一个环节就已经集成到这个行当中了，这个就是后续啊，就是大概是四点一之后是吧？呃，继续优化的一个功能，大家先知道这么个事就行了 啊，再有一个是什么呢？目前千万三点六是吧？这个三十五币出来了，然后呢，号称是一个能干活的大模型，对吧？各位，那么我们把它在本地运行来之后呢？第一可以构建自己的私有资源库是吧？更安全，第二呢效率更高，对吧？各位， 那么话说回来啊，怎么去部署这个拉玛 c p 啊，它其实就是一个能让我们运行这个语言推理类模型的这么一个工具啊。不大，我们首先来到这个 github 哈，这个网址，好吧，这个网址哈，然后来到这里之后，各位，简单的一种方式哈，我们找到右侧这个 release， 好 吧，找到这个 release， 然后往下翻哈，这里边有对应的版本，那我是 windows 系统，我们往下翻啊，这里边有一个 windows， 好 吧，在这里哈，各位，呃，我是酷达十二的，所以呢，我就找这个酷达十二哈， 找这个酷大十二，大家根据自己的情况啊，显卡情况去选择好吗？有很多这个类型，大家根据自己的情况选择就行了，那么我选择酷大十二，然后把它下载到本地之后，大家看好，我把它下载到本地之后进行解压，解压完了之后大家看进入到这个文件夹当中，这个就是项目下载之后的效果， 好吧，不大哈，大概是看一下啊，五百多兆，好吧，不大哈，然后呢，别着急启动，各位，我们启动的时候呢，可能要需要设置一下参数，怎么去办呢？大家看，进入到这个 lama 啊，解压之后的这个文件夹，然后注意新建一个文件，比如说我叫 start 啊，我已经有这个 start 了，那我就 start new， 新建一个文件，然后大家注意把这个后缀名啊，各位，把后缀名啊改成点 byte， 好吧，有些同学这个小那个小伙伴的电脑可能这个看不到后缀名，是吧？这个很简单，我们打开这个文件夹之后，这上面有一个查看，大家点击查看，点击显示后边有一个文件扩展名，就是文件后缀名，你把它点上之后就能看见了啊，也能修改了。那我们新建这么一个 bug 启动文件之后呢？大家看啊，我把我之前这个打开， 大家看在里边输入这么一句话啊，比如说这个是拉马，搜索这个拉马的这个文件啊， 调用谁呢？大家看啊，这里边有一个这个，好吧，拉玛告诉搜索点 e s e， 实际上就是调用它哈，然后后边杠杠 host 四个零好吗？它指的是开放远程调用，因为我们后期啊，各位，后期要把它集成到这个批量管理软件当中，我们需要通过这个软件远程去调用啊，这个拉玛 c p p 好 吗？各位，所以这个位置我们给它开放远程调用，后边 pos 端口八零八零，大家看啊，就这个端口，根据自己情况设置就行， 好吧，自己设置一个端口啊，然后后边杠杠 models 杠 d i r， 它指的是我们的大模型存放的文件夹地址好吗？比如说我存在 cf ui 的 这个 l l m 目录当中了，那我就找到哈这个 cf ui 找一下啊，找到 comui， 然后找到它的这个 models， 找到 l l m， 把这个上面地址复制一下，粘到这里边就行，好吗？这样呢，我们这个启动文件就配置完成了，很简单，对吧？各位？然后呢，大家看啊， 翻回头来，来到这个启动项，好吧，来到这个 lama 的 这个解压文件夹目录，找到我们刚才设置的这个 star 的 启动文件，好吧，里边的内容刚才展示过了啊，开放远程端口，设置模型存放的目录，然后前面是调用的这个 lama server， 然后双击一下 打开，双击完之后啊，这个老板就启动了，他默认的啊，启动端口啊，是刚才我们配置的那个八零八零，对吧？然后呢，我也，我之前已经启动过了，翻回头来，我们在网址上输入，幺二七点零 点零啊，多了一个点啊，幺七点零点零点一，然后冒号，英文的冒号八零八零，大家看，这样呢，我们就把这个网页打开了，大家看，其实他就是个小豆包哈，他的这个能力跟你选的大模型有关，那么我选的是千问三点六啊，目前号称能干活的大模型，好吧，一会说这个事啊，然后呢，我们点 第一次，我们可以点击加载一下这个模型，然后输入你好，是吧，他就进行推理了，然后给我们这个答案，这个模型确实能干活啊，各位，大家看啊，这个是我之前用这个千分三点六，然后拉拉本地部署的这个 呃软件哈，然后呢，生成了一个贪吃蛇的这么一个小游戏，里边大概七百多行代码，我就告诉给我生成一个网页版贪吃蛇啊，大家看，双击完之后，这个游戏还挺好玩的啊，效果还不错的啊，好吗？ 好了，不解释啊，就是挺好玩的哈，然后千万三点六的模型在哪里下呢？大家看，我这里有一个网址，这是国内的网址哈，大家看， 根据大家的显存实际情况去下载对应版本就行了。那我是二十四 g 显存，所以呢，我下的是这个 q 四 k m 的 二十二 g， 好 吧，大家尽量啊，下载这个模型小于大家的这个显卡的显存，因为什么呢 啊，就算大点也没事啊，比如说你十六 g 显卡，然后你下个十八 g 的 模型，实际上也没事，它会把一半啊，它会把一部分资源放在内存当中啊，但是各位 用这种模型啊，大家看啊，这有一个 token 的 输出速度好吗？就是它运行，你可以把它理解为运行的效率啊，有一半资源在显存啊，在内存当中，这样会拖慢你的运行效率，但是它也能运行，就算你没有这个显存，纯靠 cpu， 它也能运行，就是奇慢啊。各位， 这种模型大家注意啊，还是注意下效率的，所以我们把这个模型都加载到显存当中，这样的运行效率是最高的啊，大家做这么个事就行了啊，尽可能的选择这个模型小于你的真实显存占用， 是吧，这个千分三点六，三十五 b a， 三 b 指的是三十五 b 的 参数，但是真啊，一次使用的时候只激活三 b， 对 吧，但是你也需要把这三十五 b 参数加载到显存当中啊，然后一次用里边的三 b， 对 吧，这样的效果是最快的。 好吧，各位大家说这么个事就行了啊，然后呢，其实呢，大家不止可以下载这个千问三点六号，也可以下载其他的推理大模型，放到对应的目录当中，是吧？在这里大家看啊，在这个位置我们是可以选模型的，我之前还有千问三点五号。 好吧，各位大家知道这句话啊，知道这么个事就行了，那么部署完，启动完之后，就可以跟它进行对话，然后完成任务了哈，然后呢，这个不是重点啊，因为我们刚才开放了 api 的 远程调用，对吧？大家看啊，就是以后怎么把它集成到这个软件当中呢？大家可以看一下啊， 现在我模型是加载的，我给大家演示一下啊，这里边我写了两个 api 啊，第一个是卸载模型，是吧？ 就是我可以通过远程调用去控制这个软件加载或者卸载模型，大家看好好 success， 然后我们看一下显纯一下就下来了，这样呢，我们就完成了模型的卸载，对吧？然后下边这个是加载模型，大家看 是吧？加载成功之后，显示一下就上来了，对吧？证明这个远程调用是可以的，那么我们就可以通过远程调用的形式啊，把内容发送给这个软件，然后得到结果之后，是吧？然后我们把结果配合的使用到对应的软件当中去，是吧？就完成了调用。 好吧，这个只是一个初探啊，各位，这个只是个初探，大家学会安装，学会下载模型，然后把它启动起来就行。好吧，后续我们会有深入的这个使用教程啊。然后呢，视频当中说的一些使用细节，包括网址啊，包括这个启动文件怎么配置啊？大家可以来到主页哈，找到对应的视频，在视频下方大家可以查看一下。
341绘世玩家
05:08查看AI文稿AI文稿用 nas 本地部署将小爱接入豆包 ai 大家好，我是驴，前几天分享了几个如何将小爱接入 deepsafe 以及小米 mi mode 的 办法，今天我们来分享如何利用 nas 私有云和小米开源的米 g p t 将豆包本地部署之小爱音箱。先叠个假本视频，无任何营销推广，仅为娱乐分享讨论题，搞基有风险，请谨慎操作。视频较长，先点赞收藏，以防视频丢失。电脑录屏建议横屏播放。距离上课时间还有二十秒，请大家放松心情，我们准备上课， 同学们好上课。首先我使用的是机空间的 nars， 其他平台比如非牛全灰的，操作上可能有细微的差别，但总体流程一致。操作时需注意一下。我们需要在 nars 上利用 dawk 安装米 gpt。 我 们先打开 nars 操作平台，打开 dawk， 点击镜像仓库，在搜索栏输入米 gpt 杠 server， 这个就是我们点击下载标签，默认最新版，直接确认就好。文件五百多张，下载需要点时间，我们也不能干等着。 ok， 下载完毕，我们双击下载好的镜像。创建容器，下面开机自启要打勾，然后我们点击文件夹路径，这里需要我们在文件管理的根目录上新建一个文件夹，用于存放配置文件以及方便我们查找， 剩下的保持默认就好。点击应用， 这时候我们就可以在容器中看到我们刚刚创建的容器。点击应用，这时候我们就可以跳转至米 gpt 控制面板 下面，我们简单做一下设置，前面改不改都行，看自己的喜好。我们直接来到音箱这里，首先选择我们的音箱型号，输入小米 id 以及密码， 需要注意一下这里不是小米的账号，小米 id 可以 在网页或者 app 内查看，设备 id 要与米家 app 设备中的名称一致，这样就设置好了。下面我们下滑到 ai 服务这里就需要我们进入豆包了。浏览器搜索，输入火山引 擎，搜索框中搜索火山方舟，点击管理控制台， 点击在线推里，自定义推里接入点，创建接入点 名称随意模型选择豆包，尽量选择版本新一点购买方式，选择 talkin 付费，然后创建并接入，因为我之前已经创建了这里，不过多演示，这样就可以了。我们回到米 gpt 控制面板，选择 ai 服务，豆包 接口地址会自动填充。接下来我们回到火山引擎，我们刷新在线推理页面之后，会出现我们刚才创建的接入点名称下面的这一串字母，点击复制粘贴至米 g p t 的 模型一览， 然后返回火山引擎，点击 api k 管理，创建一个 api k 全点，下一步就好详细操作，前一期视频有介绍，复制 api k 到你 gpt 的 密钥一栏，这样就全部完成了。 下面点击启动就可以了，上方会显示启动成功。我们返回 dunk 容器后面三个点，点击日制，我们可以看到日制，刷新后可以看到服务已启动，这样就操作完成了，下面看一下效果。小爱哎， 请帮我规划一下去拉萨的路线，让我先想想，老板是想规划济南到拉萨的路线和美食吗？是选漫想风景版济南飞西宁转火车看藏羚羊雪顶，还是快捷干饭版只飞拉萨吃牦牛肉火锅呀！对啦，不许偷偷查别的攻略哦，人家会噘嘴吃醋的，哼！ 小爱请简单介绍一下你自己，我是会帮老板规划拉萨美食路线，还会因为老板偷偷看别人攻略撅嘴吃醋的乖巧豆包呀，该说不说还是豆包好啊， 可不敢胡说啊！好了，如果你在操作过程中遇到任何问题，都可以在评论区留言讨论，鱼看到之后都会回复，如果你有好玩的有趣的，也欢迎跟我们一起分享，感谢大家的支持，祝大家天天开心，再见！
2377洛杉济的驴
05:03查看AI文稿AI文稿你的 openclaw 和 hermes 还在花钱调用大模型的 a p i 吗？今天我教你用零成本本地部署奥拉玛，在你的电脑上直接跑大模型，还能无缝对接 openclaw 和 hermes， 实现免费玩 ai 智能题工具。首先介绍一下欧拉玛，什么是欧拉玛呢？欧拉玛是目前最简单的本地模型工具，在 windows、 mac 和 linux 上都支持，几分钟就能装好，八 g 内存就能跑。当然了，还是建议最少要安装十六 g 内存， 这样体验起来更加流畅。如果有英伟达的显卡，还能够使用 g p u 加速。了解完了欧拉玛是什么之后，我们来看一下欧拉玛如何安装。首先我们要访问欧拉玛的官网欧拉玛点 com， 它的首页是 一个羊驼抱着一个龙虾，下面的英文是 power open claw with ollama， 中文的意思就是使用 ollama 为龙虾赋能，从这一点我们就能看出它是全面的拥抱和支持 open claw 了。这也是为什么今天我要在 open claw 的 专栏里专门做一期 ollama 视频的原因。 废话不多说了，首先要下载欧拉玛，点击右上角的 download， 这里我们可以看到它有 mac os、 linux， windows 的 下载方式自动已经给我们定位到了 windows， 点击这个黑色的 download for windows 按钮， 就会弹出下载框，点击另存为保存，有点大，两个 g， 这个网速非常感人，所以我建议大家用迅雷来下载。 我们已经下载完了欧拉玛的这个安装包，下面我们就开始安装欧拉玛的安装有一个问题，就是它没有让你选择 需要安装的文件夹这个选项，它默认是安装到我们的 c 盘 user 底下的，如果你想安装到指定的文件夹，那你需要换一种方式，我们先把这个安装过程停止。 我们找到拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇 斜杠 d i r 等于这里写上我们的安装地址，也就是记盘的欧拉玛文件夹。打回车就跳出来安装界面，我们点击安装，大家可以看这里已经安装到记盘的欧拉玛这个文件夹下面。 进了这个界面，就代表着欧拉玛已经成功安装并且启动了。安装好了欧拉玛，我们再来看如何下载模型。在欧拉玛的网站上点击这个 models， 就 可以进入模型列表，这里都是可以使用欧拉玛直接下载使用的模型。我们来找一下 谷歌的 jam 四，这个是最近小模型中比较好的，可以通过这一句欧拉玛 ram 四来进行下载。 输入奥拉玛 ram 捷摩斯回车运行。安装完了，我们来跟他说一句话试试。我们在这里输入一个，你好打个回车。 好的，扎马四已经回复了我们，虽然有点慢，但那是我电脑性能的问题。大家可以看到现在已经成功地让大模型在我们的电脑上运行起来了。再下一步我们就来看如何把欧拉玛接入到 open cloud 中。 ctrl d， 我 们来退出欧拉玛，然后输入 openclaw config， 进入 openclaw 的 设置，这个我们直接选择本地运行，这个我们选择第二个 model， 打回车进入，然后我们要在这里找欧拉玛， 这个就是欧拉玛提示我们欧拉玛不可用。我们来重新编辑一下 openclaw 的 配置文件。 openclaw 的 jason， 这个就是 openclaw 的 配置文件。我们来找一下 allow 这一项，这里就是扩展的 allow 这一项，我们要在这里添加上 alama。 我 们来运行 openclaw config 来设置 openclaw 的 大模型。 选择默认的本地模式，这个我们选择第二项 model， 就是 设置模型，这个是选择模型的提供商，我们来找一下 alama， 这个是询问我们选择云服务还是本地模式。我们选择最后一个本地模式，这个是欧拉玛默认的 b、 c、 l。 回车，这个是有哪些可用的模型？只有一个，我们按空格选中回车确认 提示，我们已经把模型信息写入了配置文件，我们退出。我们回到 open 可乐，这里是我们 问了 openclaw 一 句你使用的什么模型，他们回，他回答，我使用的是谷歌的伽马四。我们这次的 olamata 下载安装以及安装模型，以及如何在 openclaw 中使用 olamata 模型。到这里就结束了，关注，我每次 都给大家带来一个 ai 的 新知识，感谢大家的观看，再见。
950波哥的AI课
03:15查看AI文稿AI文稿永久免费无限量，电脑小白也能装一行命令都不要！哈喽啊，我是王玉，今天给大家带来可能是史上最简单的本地大模型加本地龙虾的部署方案，可以永久告别偷啃叫力，享受免费无限量的 ai 能力， 一次安装终身使用，不依赖云端 a p i， 不 再有掏坑的焦虑，月度限额的烦恼，所有的数据都保存在你本地的电脑上，聊天记录代码片段都不会上传云端，超级安全，还支持多渠道，微信、 qq、 飞书都可以随时随地的用，性能也很强。 这次我会集成最新的千万三点六三十五 b， 这个模型性能堪比主流的付费 ai 产品，完全免费运行在你的显卡上，而且安装过程不需要你懂代码，不需要命令行，不需要你安装什么 wsl 那 些东西， 只需要安装两个图形化的软件，点一点鼠标就能搞定，而且有什么新模型、新插件，新的 skill 都可以装，都可以更新，你需要准备什么？硬件方面推荐十六 gb 以上显存的显卡，当然你没有这么好的显卡也没关系，你下载一个小一点的模型也行。 软件的话，第一步，安装这个 lm studio， 不 会安装的话，可以参考我之前做的本地安装 jma 四的那期视频。 第二步，安装这个 workbody， 这个 workbody 现在是可以接入本地模型的，所以我们直接安装它就可以直接使用这个龙虾的能力了。 ok， 来具体看一下怎么配置这个 lm studio。 第一步，首先是你把这个模型下载好， 然后加载到这个 lm studio 里面，可以看到这个著名的洗车问题三十五 b 的 这个 moe 模型是没问题的， ok， 然后看一下本地 server 的 配置，点这个图标，进到 local server 的 配置页面， 我们看到这里有一行字就是代表我们的 server 已经起起来了，这个地址就是我们的 api server 地址，我们把这个地址 copy 一下，然后到配置 workbody 的 页面，我们点这个图标，然后进到设置页面，点这个模型， 然后进到编辑模型页面，我们提供商选这个 custom 接口地址，粘贴我们刚刚复制的地址，最后加上一个 v e 这个 apikey， 如果你配了的话就填你配的 apikey， 如果你没配，那你就随便填一个模型名称的话就随便填，也可以高级配置。我们这个模型是支持工具调用，也支持图片输入，还支持推理的，所以这三个都可以勾上上下文大小，根据你加载模型的上下文大小填就可以， 然后来看一下实际的使用效果。其实本期视频的这个 ppt 风格的网页就是我让这个千万三点六三十五 b 加 word 八 d 来做的，可以看到这边我让他做一个介绍本地安装小龙虾的短视频， 他帮我写好了短视频文案，包括一个 ppt 风格的网页，有六页的 ppt， 内置了一些动画效果，包括右边的原点导航，还有图片点击放大的效果， 包括需要哪些截图，他也给我列出来了。永久免费无限量电脑小白也能装一行迷你都不要，是不是非常的 nice， nice！ 觉得有用的话记得点赞关注，拜拜。
748wycode_cn
02:50查看AI文稿AI文稿还在研究本地大语言模型怎么破甲破件吗？其实那些方法都没什么用，今天给大家直接介绍一个无限制的 本地大语言模型，这个是欧拉玛的官网里面的啊，这是其中的一个作者，我们直接去拉取它这个模型就可以了，注意它的尾缀啊， on sensor 的 这种啊。 好，那么如果你在这里面去搜索的话，他可能还有很多个这种昂森手的，包括那个加码的，或者说是千万的，我个人推荐用千万的，千万对中文的知识要更好一点，然后它里面有很多版本，二币、四币、九币，这个四币和九币哪怕你是没有显卡的， 在内存里面跑的也是可以很快速的。那具体怎么操作呢？比方说我想，因为我这里面我的这个里面已经拉取了，我拉取了一个四 b 的 一个九 b 的 纤维三点五，还有一个加码的一四 b， 呃，感觉都还还蛮好用的啊，我，我给大家演示一下。比方说我想拉取这个里面的这个二 b， 然后点到这个二 b 的 模型里面去， 它这个里面针对欧拉玛的拉取，它会有已经给你写好了命令提示。行啊，直接选中复制，然后 windows 加 r 键，打开 cmd command 命令行窗口，然后直接复制粘贴进去，就来到这里了，看到没有回车 好，它这个时候就开始拉取了呢，这是我的网速，这个时候它就开始拉取， 呃，这个取决于你的网速，而而且这个是不需要魔法的啊。当拉取完了之后，啊，我这个把这个停掉啊，我这我这把它停掉， 停掉。拉取完了之后，我们来到我们的欧拉玛里面，你就会多一个，刷新一下就会多一个，当然我这个就不拉取了，包括四币啊，九币啊， 在在我这台电脑上，我这个是一个六 g 显存的四零五零啊，哪怕你是核显的，没有显存的也可以，跑速度也还可以，你可以跟他任何交流啊，包括角色扮演呢，或者提问呢，任何特殊问题等等等等等等，大家都懂的， 不会有拒绝回答的情况。这个这个奥拉玛的客户端程序也是在这里下载啊，客户端的程序也是在这里下载， 下载完了之后，安装好了之后，你的属呃，那个系统右下角托盘上就会多多一个这个羊驼的图标啊，然后打开这个 open 就 可以打开它这个窗口啊，大概就是这样，具体的那个过程里面的聊天内容啊什么什么的， 呃，我就不去演示了，他的四 b 和九 b 作为简单的轻度聊天或者角色扮演等等等等之类的，或者仿写扩写一些小短文什么的都是没问题的啊，千万三点五的九 b 榜三说的啊，就这个好。
152东辰视觉
06:46查看AI文稿AI文稿部署本地的 openclaw 已经可以剪视频了，大家都知道了吧， 这个让硅谷大佬每日一封的 openclaw 阿月，我呢也是拉到本地试了几天，现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊，我呢也是连续测试了四台电脑，确保每一步都可行，接下来你们只要跟着做就可以。点好关注收藏， 我这里依旧用的是 windows 系统来操作，因为 macos 系统呢，环境相对比较简单，不像 windows 这么复杂。首先呢，我们要确认好 windows 的 安装环境，安装的时候呢，全部都点 next， 一 直到完成即可，建议呢，不要去变更中间的安装路径。 呃，安装完成后呢，我们可以检查一下环境，我们在命令提示符的窗口输入这两个指令，如果输入指令后跳出版本号，那就说明安装已经成功了。这里提到的两个环境文件呢，我在文档里面也全部都准备好了。 好，接下来呢，我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入，这个指令安装完毕后呢，再输入这一条指令， 好开始了。 ok， 这一步跳出来的呢是风险提示，我们直接选择 yes。 然后呢我们选择 quickstart， 这一步呢是选择大模型，我这里呢用的是千万，因为他是国内的，如果大家有惯用的呢，也可以自己进行勾选好，然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证，大家验证通过就可以了。那通过后呢，这里也同样有一个选项，我们直接选第一个默认的模型。 ok， 下一步呢，这里可以看到很多的应用选项，这其实呢就是指令输入的终端，因为这些都是国外的，所以我们先不管，选最后一个，跳过，后面呢我会给大家介绍如何接入国内的飞书。 ok， 继续，这里会问你需要配置什么 skills？ 呃，我们也跳过，没问题，因为这个不着急，后面都可以手动去配置的。 好，这个也不用管我们用不上，直接跳过。好，然后我们稍等一会，会自动弹出一个网页，然后你会发现这个网页是打不开的，没关系，我们这个时候呢，再运行一个 c m d 的 指令， 好，这就是欧奔 cloud 的 兑换框了，我们来尝试和他打个招呼， ok， 他 回复我了，那到这里呢，其实基本上就成功了，还是比较简单的啊。然后呢，我们再来尝试为大家接入一下飞书，很多小伙伴呢，在这一步呢，其实就被劝退了，因为怎么样都接入不了这里，大家看好我怎么操作。 首先呢，我们进入飞书的开放平台，我这里呢用的是个人版，我们来创建一个企业自建应用， 进到这个凭证与基础信息界面，把你的 app id 和密钥保存下来，这个很重要啊，后面会用到的。然后 我们添加一个机器人，再到权限管理这一步，为他添加一些权限。这里的权限列表呢，其实官方呢是有指导文件的，但是呢就藏的比较深，我呢也是给你们找出来，直接放到文档里面了，你们直接一键复制过来就 ok。 好，然后我们需要配置一下这个事件回调功能，在这里的订阅方式选择长链接这一步呢是必须的，而且是绕不开的，也是大家碰到卡点最多的一步，很多小伙伴呢在这里呢就是一直报错，好，不用担心，我呢，已经整理了一份非常长的傻瓜教程，大家直接照做就 ok 了。 然后选择以后呢，我们添加事件，然后添加搜索接收消息， ok， 然后我们就去点击创建应用，然后再发布就 ok 了。 好了，配置工作完成之后呢，我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢，所以大家的电脑情况都不太一样，所以会出现不一样的报错问题。网上的很多视频呢，也没有把这个问题针对性的讲清楚，我自己呢也试了三到四台电脑来做尝试，都非常有挑战。 如果你手边也报错的话呢，不用担心，我这里想到了一个邪修的办法。好，那既然 oppo klo 可以 控制我的电脑，那为什么他不能自己安装飞出插件呢？我们来试试看吧，直接和他对话。呃，你自己安装一下飞出插件，然后呢，他就会开始疯狂的工作，并自行去验证安装环境和插件配置 啊。五分钟左右后呢，他就会告诉我，他工作完成了，需要我提供给到他飞出机器人的 app id 和密钥。这个呢，其实我们在上一步已经有了，我们直接复制给他，让他呢继续去工作。这里的工作过程当中呢，我们的机器人可能会下线几次，原因呢是他需要去重启网关， 如果呢，你感觉他下线太久的话呢，我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢，他会要求你在飞车上和他对话进行测试，并为你排除最终的一些故障。 ok， 全部搞定，已经可以在飞车上正确回复我了，并且呢，刚才在外部的对话记录他也全部都记得， 呃，我们这里呢，再用手机给他发一条消息试试看。好，他也同样接受成功了。好了，这里欧本卡接入飞书的配置呢，就完全对接成功，基本上都是他自己完成的，我呢只是配合他提供了一些必要的信息， 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢，我现在想要订一张机票，我就让他帮我查询一下最便宜的航班，他立刻就给我列了具体的信息，包括航班号，价格以及其他的一些航班信息。不过这一步呢，是需要接入 api 的， 大家可以自行去网上找免费的接入就可以。 好，那现在过年了嘛，马上大家呢也会送礼嘛，那我就让他去浏览电商的页面。呃，不过这里呢，需要先安装一个 oppo club 官方的浏览器插件，我们直接从官方渠道进行安装就可以了。具体的步骤呢，已经放在文档里了，大家直接照做就可以。我让他给我打开。 ok， 成功，呃，然后我继续让他为我搜索燕窝。好，也成功了。 好，那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克，看他能不能帮忙完成。 首先我们要让他找到作业的本地目录，并让他完成里面的题目。他立刻就找到了，并且迅速告诉我，完成了。啊，这速度还是真的蛮快的啊，但是呢，人呢，还是比较懒的。如果呢，你抄作业都不想抄啊？没事，直接让他把填完的东西返回给我。好，他已经做完了，我们来看看啊。 呃，代码呢？全部都完成了，不过呢，我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了，那这次安装说明就先讲到这里了，关于 open cloud 的 更多能力，有时间呢我们可以再去测一下。好，那既然已经部署成功了，有兴趣的同学呢，也可以再去深度探索一下 啊。对了，现在呢，各大厂呢，也出了针对 open cloud 的 云端部署，我这个呢，也可以跟大家快速的分享一起。好，这里是阿月，希望我的视频能够帮助到你，让你更了解呀，我们下期再见。
1.7万阿悦很严格
04:27查看AI文稿AI文稿我拿到小米二十三亿 token 的 时候，其实是有点懵的，不是兴奋的那种懵事就这就这也能过迪那种懵？这个是 max 套餐的十六亿，这个是 pro 套餐的七亿。先交代一下背景，小米最近搞了个活动， 叫咪蒙 over 的 百万亿 token 创造者激励计划，三十天免费送一百万亿 token， 最高给到 max 上十六亿 cash， 等值六百五十九块钱。 这个话题已经有很多博主写过了，活动也快到尾声了，五月二十八日截止，还剩不到一周，按理说不该再蹭了。但我之所以还是写，是因为我发现了一个特别简陋 特别巧的方法，几乎百分之百能拿 max 档。这个方法我一会儿说，先把活动本身聊透。咪猫是小米自研的大模型，最新版本 v 二点五 分两个模型， pro 版面向复杂任务深度适配 a 剑客和编程，在 gdp v a l a a 和 clever 榜单上开源第一。还有一个是全模态版，文本、图像、视频、音频都支持 v 二点五， pro 用的 mo 架构，总参数三零九 b 激活十五 b， 原声支持一百万 to k 上下文推理成本只有国际币源旗舰的百分之二点五， api 定价大约是国际竞品的五分之一。 你可能觉得这不就是个国产模型吗？但坦率地讲，这次小米的成绩确实够硬。 texturina 全球综合第五， labyrinth 全球第四。 open route 上周以百分之三十多的试战率登顶第一 周条用量四点八二万亿 token， 而且它是开元的 mit 协议商用自由。说真的，全球前十开元模型里，中国占六席， 小米是第一个登顶开元榜首的手机厂商回到活动，这次 over 的 计划分两部分，一部分是面向开发者的百万亿 toc 创造者激励，另一部分是面向 ainc 框架团队的生态共建。我们聊的是前者，申请流程不复杂，去 mimo 填个表单，三个工作日出结果， 通过后邮件通知、登录开放平台等权益到账就行。但很多人卡在评估这步，拿到的是赠金，而不是 tiktok plan 或者档位很低。网上常见的建议是要写详细的项目描述，要有 github 链接，要做完整的项目， 有些教程甚至建议你前后端数据库齐活，搞得跟融资 b p 似的。我一开始也这么想，然后我发现了一个更聪明的路子，就是只做一个前端，一个用歪不扣定搞出来的非常非常厉害的前端不需要，后端不需要数据库，不需要部署上线， 就是一个纯前端页面，但视觉要炸，交互要丝滑，让人点开第一眼就觉得，卧槽，为什么这招管用？ 你想啊，评估的人一天看几百份申请，大多数是 github 仓库链接和 api 文档，他点开一个仓库可能还没看完 readyme 就 关了，但你给他一个牛逼的前端，点开就是成品，视觉冲击力直接拉满，谁都能一眼看出来这东西好不好。后端逻辑写得再复杂， 评估的人不懂你的业务逻辑啊。但一个漂亮的页面，不需要专业知识就能判断质量。我自己 pro 档就是这么拿到的项目就一个纯前端页面，没写一行后端代码。我朋友按照我的方法拿到了 max 档。 噗儿当倒是我实打实拿作品申请的，自己写的 app， 还有几个 skill， 两者加起来一共二十三亿 token。 再说一个很多人踩的坑，一定要先注册好小米账号，绑好邮箱和手机号，申请表里填的邮箱必须跟小米账号绑定的邮箱一致， 如果不一致，或者你用的是手机号注册的账号，没绑邮箱，通知邮件根本发不到你手上，全一批了你也拿不到。 我一开始就翻车，在这折腾了好久才搞明白。所以正确顺序是先去小米官网注册账号，绑好邮箱，然后再去申请。操作上也不复杂，用 cloud code、 科斯尔或者任何顺手的 ai 编程工具，让 ai 帮你 vibble 扣度一个炫酷的前端页面，重点放在视觉效果和交互上，动画动效，享意识布局，这些能让页面看起来很贵的东西。多搞深情表里，把截图放上去， 项目描述写清楚，用了什么工具，做了什么功能，解决什么问题，就这样。最后说说这个 tucker 值不值得薅。 mmo v 二点五 pro 的 编程能力，我自己用下来的感受是比我日常用的 g l m 五车报强不少，跟 g l m 五点一比也差不了太多。 a p r 能直接对接 cloud code 浏览器， oppo 跨这些主流工具。十六亿 tucker 免费活动五月二十八日截止，池子部等人免费的羊毛，而且是比较厚的那种，不薅确实亏了。
250Ac的ai打工日记
01:56查看AI文稿AI文稿最近在用这个 codex， 呃，写一些 a p p 小 程序，好像是建了一些网站什么的， 然后如果说用它自己的模型的话，这个很贵哈，所以说我现在连接了这个咱们本地的 啊， dickzip 的 这个模型通过什么样的工具呢？那这个就可以给大家介绍一下，有个叫 memo to codex 的 啊，这样的一个开源工具啊，它呢也挺好用的，配置上来讲也比较简单。呃，不定期的话， 呃，它也会做一些更新啊，我用的还可以啊，你看设置上来讲就是非常简单哈， 因为它已经预制了一些模型啊，有 miimo 的 这些模型，还有 decip 的 这个模型， 只需要在那个后端的一个配置文件上把这个 decip 的 这个 api key 贴上去，然后就可以使用了啊，贴上去之后，你看我这上面就变成了已启动的这样的一个状态啊， 然后在 codex 接入的这一块，就直接在你想用什么样的模型，比如说现在有这个 v 四 pro 和这个 v 四 flash 啊，你可以用 pro， 也可以用 flash， 在 这边有一个写入文件并起用点一下， 然后你 codex 退出，重新进一下，就可以切换为这个模型了啊，非常方便。 你看我这个模型，我不光用官方的这 a p i， 我 还用这个 open code 的 这个 a p i 的 这个啊， decip 这个模型也都是可以去用的，比较方便，推荐给大家。
123进阶的奶爸
01:38查看AI文稿AI文稿家人们是不是申请到骚咪咪猫免费抽坑后不知道怎么部署到终端和 vsco 的？ 今天一个视频教会你。首先，咱们得打开官方文档，找到 cloud code 的 配置部分。注意哦，咱们免费申请的得用第二种 tocon plan。 第一步，先验证 cloud code 里有没有装，按 win 加二，打开运行，输入 cmd 回车，在命令行里敲 cloud ver， 能看到版本号就说明装好了。 第二步，复制以下配置，粘贴到用户目录 cloud settings 文件里，配置 u r l 和自己的 api key 后保存。第三步，更简单，复制配置，粘贴到用户目录 cloud 文件里。 第四步，在命令行里输入 cloud 回车，选择第一项 yes i trust this folder， 输入你是什么模型，回车返回，我是 mi mode v。 二点五 pro 就 部署成功了。 接下来咱们搞 vsco 的 接入。重点来了，只要你已经装了 cloud， cloud 就 不需要再单独配置啦！ 打开 vsco 的， 先下载 cloud 插件，插件会自动附用 cle 的 配置，在 cloud 插件新建对话发送 hello， 能收到回复就说明 vsco 的 部署成功了。 对了， vsco 的 理心键终端也能直接输入 cloud 用哦！家人们部署时遇到什么问题，随时在评论区交流呀！
60王哇噻
01:40查看AI文稿AI文稿今天来给家公司上门部署本地大模型，那么你可以看到现在这个本地大模型已经部署好了，那么用的呢？就是 max studio 的 m 二 ultra 的 六十四 g 的 这个机器，那么我们可以来看一下，就是这个本地大模型对于企业来说到底是怎么用，以及为什么好用？那么当你的大模型部署完了之后，你可以直接在手机上去跟他问， 比如说帮我查一下采购订单表，那么你就可以看到他会把所有的全部给你列出来，然后还会问你想查什么，然后你可以也可以给他发语音，没有问题，查一下知识库里面有没有什么合同快到期了，然后他就会帮你去查啊，大概有什么合同快到期了，然后以中以中止，已完成都大概有多少， 然后快到期的合同，这些全部都可以查到， 但他会给你一些建议，然后之后你还可以去问他啊，本月的销售报告，这个是一个很简单的一个财务的工作嘛，然后他就会去给你整理所有的呃订单数，然后去给你报出来， 然后各个平台那么全部都可以看到，这是非常方便的。比如说你去做你的电商啊，又或者是什么你每天数据非常非常多，各种一些，呃，包括你看啊，业绩排名这些全部都可以给你拉出来， 这些都没有问题，这个比人工去做要快太多太多了。比如说你有成千上万的订单，然后有很多合同，那么你让他去帮你挑，比你自己去挑，或者 让你自己的员工去挑要快的多的多。因为你自己人去挑的话，那么人去看一个一个的看是需要非常非常多时间的，但是你让 ai 去做，这也就是十几秒的事情，所以是非常爽的。
102老K的Ai服务站
01:56查看AI文稿AI文稿n 卡的本地大模型部署好了，对比我之前给大家讲到的这个 max studio， n 卡和 studio 在 价格上差不太多，但是如何去选择呢？如果你是家庭使用它又可以当电脑，性能是非常强的。然后它拥有六十四 gb 的 显存部署，像 opencloud 这样的机器人，它的回复速度肯定是没有 n 卡快的。但是好在它的显存比较大，六十四 gb 你 能 能够跑更多的模型是大于英伟达的这个模型的。但是如果你和我一样对性能要求极高，那你可以考虑一下英伟达的这套解决方案。至于这个 n 卡的解决方案和 max studio 在 速度上到底差距多少呢？拿这个五零九零来说，如果你问他一个复杂的数据，比如说帮你看十到一百张表，那这么多的数据， mac 基本上要一 分钟才能给你回答，但是 n 卡的话，二十秒直接给你数据，那毫不犹豫肯定 是 n 卡。我刚刚用这个 n 卡输出了一篇关于短视频运营的报告，可以看一下，输出是非常细化的，而且像这样的内容在实时生成中，大概也就是十到二十秒就可以出一个这么详细的日报。然后我也给他安排了多个 agent， 比如说我用我的 max studio 作为 主对话，他做我的 ceo， 那 像英伟达性能比较强，他要采集大量的数据，运营比较复杂的这个预算，那我就会把他很多关于一些公司的重要财务数据， 可以帮我查 erp 吗？嗯，可以看到它已经在调用我本地的这个模型了，然后一堆的数据表格正在输出，也就是说我们正常在使用它，无论是一台机器还是两台机器或者是混合使用，你的体 验都可以是非常好的。通过这样的多 a 检测的智能体，你还可以创建多个角色，然后每个角色也有自己的 skill， 你 让它做短视频运营的数据分析以 及做你的财务报表都是可以搞定的。而且像这套算力全部都在自己家里或者是在自己的公司里面，你的重要的合同数据都不会留到网上。所以说各位企业的大老板，如果你对本地算力和数据安全也有要求的话，像这样一套混合解决方案，你的企业也可以安排上。
13案上AI智能
02:42查看AI文稿AI文稿今天凌晨呢，小米旗下的大模型 miimo v two pro 宣布降价，说法是最高降幅百分之九十九，但实际情况呢，是和 deepsea v 四 pro 的 价格是完全一样。而 miimo 的 v 二点五，它的所谓的 flash 模型跟 deepsea v 四 flash 呢，价格也是几乎完全一样。 这个价格呢，基本上已经属于跌到脚踝了，因为 deepsea 在 周末刚宣布把它的 v 四 pro 模型呢，原本限是二点五折的优惠的永久化，这种地板价的价格呢，以我们自己的附属的， 呃，接下来看呢，基本上只是电费和一些运营费用。那 dips 为什么价格能降那么低呢？也是因为它做了一系列优化，比如说 m o e 架构，比如说 k v k 式压缩，比如说投机解码和多头痕的预测， 包括缓存的复用量化和低精度的部署。这些呢，我在前面几期的视频号上都分享过。当然呢，即使把这些都做完之后，也没法做到现在的报价。所以呢，更可能的原因是 dips 呢，已经通过 公司二方科技提供了硬件的自主权，就拥有了所有的 g p u， 所以呢，已经作为沉没成本，而他只是要覆盖他的运营成本，就是电力和运营费用而已。那 d p c 的 长期逻辑是 agm， 所以 他把价格压到这么低的核心的目标是把电容量做起来，能成为全球使用量最高的模型公司之一。目前从 oppo rata 的 收益来看，确实也是这么 回事。小米呢，可能是更加激进一点，因为小米的核心的利润并不来自于大模型，而模型呢，又是他在二手市场上讲故事的很重要的支点，所以呢，他愿意以不盈利的方式持续亏损作为战略性投入 来获取时长的声浪。同时呢，因为他在生产店中的站位，未来的手机、汽车、 iot 机器人这些终端都需要低成本的模型，与其采用别人家的，不如用自己的模型。所以呢，虽然两家的降价逻辑并不相同，但是结果指向了同一价格， deepsea 先动，小米 mimo 贴身跟上。问题在于，这个价格一旦被这两家公司同时铆定，就很难再往上走了。所以呢，结论就是，那些能力不如 open ai and fava， 价格又打不过 deepsea， mimo 的 中间场上可能会率先被挤压出海桌，国内资源大冒险的大厂以及模型创业公司，迟早都要被拉出来表个态，到底是否跟进？ 而这个价格战呢，目前还没有波及到市场。另外一端就是预参加 g p t cloud 和 jimmy， 原因呢，是市场正在分层，对于价格敏感的开发者跟中小企业，会被 deepsea 跟 mmo 低价带走。但是对合规性多模态能力，包括编程能力有特定需求，大客户 暂时可能还会留在国家区间，但是这个用户呢，其实比较有限，而且呢，集中在欧美国家和发达国家。所以接下来呢，大模型市场可能会分成两个阵营，一端是集低价的基础设施层，负责提供便宜稳定可 规模的头肯。另一端是高溢价偏能力层，继续卖最强推、最强 a 阵、最强多模态和企业级安全能力。而两端都够不着的场上既没有成本优势，又没有能力避雷，大概率就是人出局 了，而即使是短期油箱的分层，随着模型技术能力的提升，低价格的模型并表示能力回差，反而呢，可能会不断的升级，不断侵蚀所谓的高溢价高能力的模型。所以呢，未来的市场份额一定会被低价甚至免费的模型占住，而所有的其他模型会竞争的百分之十的最复杂的应用场景。
744杨博士说AI
02:15查看AI文稿AI文稿今天介绍一款免费免安装轻量的本地大模型部署工具， herdsman 牧马人本地推理引擎。打开首页是对话区域，在左上角切换模型区域。模型区域根据使用场景对模型进行了分类， 包括对话文、声图、虚拟人物、翻译、播客、 npu 等，每个模型都有对应的说明，并且根据你的硬件配置进行推荐。 小白用户就可以快速知道自己的硬件适合运行什么模型。模型一键下载下载好的模型一键启动，启动时可以选择上下文长度、开启思考模式以及高级参数。 模型启动后可以在侧边栏快速获取本地资源占用情况，随后切换应用界面，开始对模型进行拷打。部署多个模型时支持一键切换，接下来便可以进行对话了。 对话结束后可以查看 token 输入输出速度。在此我也做过牧马人对比 lm studio 的 测评，在同一台设备跑一样的模型，问一样的问题，详细结果大家看图。 当你以为本地模型只能简单对话，那就大错特错了。牧马人提供标准的 open ai 兼容接口和 antropic 接口，这意味着通过牧马人部署的本地模型，你可以接入第三方软件进行使用。在 flowy ipc， 你 可以一键切换本地模型， 便可以实现本地文件操作、搜索网页、查资料、发邮件等操作。接下来我也给大家实测一个场景，看看本地模型的效果如何。 我让他帮我收集东方财富过去一周的重点信息，并把这些信息制作成一个表格保存到我的本地。运行过程中我是能明显听到电脑的风扇在高速运转， 结果出来了，我们看看效果，告知了文件保存位置，做出了总结， 打开汇总表格。
2783Genima
01:39查看AI文稿AI文稿最近帮很多客户配置了这个算力服务器，其实发现大家的需求基本都一样，都是把它拿回去做本地的大模型。那么这就有个问题了，本地开源大模型那么多，用哪个更好呢？那这个是我们帮客户做的一个去筛选的软件， 这里举了个例子，比如说我要同时测试四个不同的大模型，他的算力也好，性能也好，有什么区别？这里比如说千分三点六二十七币的、三十五币的，还有不同的格式参数的， 那我们这里用到的是三张卡，因为我这个机器是三张卡，那为什么能运行四个模型？首先我把第一张卡去拆分成了两张卡，用这个 m i g， 那 我可以看到这里就有四张卡了。 接下来我们来测试一下，我们看到这个是我们的前端页面，这里就有四个模型的对号框。我们同时问一个问题，是最近比较火的像洗车难题，就比如说我有一辆车要去洗车，还是开车去洗车，因为之前会有这个模型是会翻车的， 我们看到这个几个都运行完了，这个还在不断的思考，所以可以发现每个模型他的特点、速度他都是不一样的，我们先等他回答完毕。好的，我们看到这整个模型都回答完了，看下他具体数据，比如说这里是他每秒的 token， 像这第一个千万三点六二十七币的是一百四十个 token 每秒， 这个千万三点六、三十五 b a 三 b 的， 这个是二百六十个每秒，这边是二百二十八，这个是二百二十一整体的速度，还有每个手自延迟都可以看到，包括他使用的体感，比如说这个模型他就思考了特别久， 那这个就可以根据我们具体的业务来选择使用哪个模型，这就很方便了，这整体的框架都是我们去帮服务器用户去开发的。
29李哥说显卡-AI
01:27查看AI文稿AI文稿最近很多用户买了这个 ai 服务器，拿回去做大模型，然后具体的用哪个大模型会比较好？针对这个问题我们开发了一整个这个套件，主要功能是什么呢？比如说在这里我可以去用不同的部署框架， vlmsd 浪还有等等的，把不同的模型部署上去，放在不同的显卡上。 比如说这里我装了四个模型，分别在四张普通的显卡，有纤维三点六的杠、二十七 b 以及纤维三点六、三十五 b 以及不同的精度，我们可以同时测试多个模型的推理能力。那这个是我们前端我同一个问题问四个模型，结合最近一个客户真实需求，因为他是做金融量化的，他要挑选一个 对金融比较敏感的模型，那我们会用这样的方式，可以测试几十个甚至上百个模型，最后挑出一个比较不错的。可以看到我这里就随便截了一个今天的这种上涨指数里面是金融方面的，那我就问他，根据这个上涨指数分析最近一周应该怎么样判断？比如说第一个模型 他一直在思考，可能卡住了，但是第二个、三个、第四个模型已经出来了，他也给了总体的建议，比如说本周看核心四幺五七能否突破等等等等。以及这个是本周关键在于四幺五七的得失好，但是一号模型他还在思考， 那我们可以通过这样的方式去多问一些不同的问题。针对你的专业，因为有的是要做金融的，有的是要做工厂的，去设计或者说其他的方面的，这样你可以判断市面上所有的模型，哪个更适合你？再来做本地部署，这样就事半功倍了。
27算力未来
