Qlib-UI本地部署教程

现在我的 codex 正在帮我本地部署前问二点五十四 b 的 大模型，然后还需要大概十来分钟的时间，正好 趁着它在执行任务，我给大家分享一下从我有本地部署大模型的这个想法到落地是怎样的经历，大概用了多长时间？ 呃，首先原因是前两天不是谷歌的芝麻四开源了，嗯，然后我就又重新关注了本地部署这件事，我就用 ai 学习相关的这个内容， 就是让他首先把我电脑的配置发给拆 gpt， 这是网页版的。然后，呃，让他一步步的给我讲清楚这个本地部署，他的这个架构 运行原理，还有和我电脑的适配程度和本地的大语言模型的生态，把这些所有概念性的东西通过网页的 chat 模式都给它聊清楚。 内容还是很长的，我进行了多轮对话。呃，然后呢，你看，我就用这个，这是 obsidian 的 一个插件，可以一键把所有对话内容保存到我的 obsidian 里面去。 接着呢，我就在这个 vs code 里面把我这个呃 obsidian 的 本地文件打开了，这是下载的版本， 因为下载版本呃，我们都用过这个网页对话，他实际上是很多重复的。然后废话，那全下来大概有这两千六百五十五行。我第一件事就是先让 口袋的插件帮我优化了一下这个对话，这是这是优化版，优化版的话呢，它结构性更强，然后一共才五百多行，这样就方便我把这些知识给沉淀下来，我可以再多了解了解它的原理。 搞明白之后，根据我的实际使用场景，到底哪个模型更合适？最后我得出来的结论就是这个前文二点五十四 b 并不是最新的。呃，正码四，也不是这个前文比较高的模型。 得出这个结论之后，我就直接让他帮我部署，那我给他的指令也很简单，之后让他开始执行， 下面就是他的完全自动的，现在看看装到哪了。呃，大概还有六七分钟的时间。 ok， 现在已经部署好了，总共用时十五分钟，四十三秒。他同时还帮我优化了本地文档， 你看它进行了哪些动作。就是这些都安装好了，并且进行了测试。那我现在怎么用它呢？就可以直接输入这段代码就可以用。那我们试一下，把这代码复制，然后打开我的终端，终端命令行粘贴进去， send a message， hello， 嘿嘿，那就可以用了，同时我也准备好了，如果不好用的话，我怎么卸载啊？后面如果想清理，就这三步就能卸载干净。 那从调研到部署成功，我大概是从早晨睡醒觉，七点钟开始跟 gpt 聊，然后现在是 九点四十二分，就不到三个小时，我就大概对本地部署大模型这件事有了一个框架性的了解，并且让 codex 帮我完成了部署。我现在已经用上了，哈哈，还不错， 这就是整个的过程，从你想做一件事，但是完全不知道概念，就先在网页的 chat 模式跟他聊 聊的，你大概了解之后得出一个最优的方案，适合你自己的方案，然后就用这种像可拉的 code 或者 codex， 因为他们不只是可以聊天，他们可以调用工具来执行，就让他们帮干活。呃，这样的话其实也是一种省 talk 的 方式， 你当然也可以在 codex 或者是 cloud code 里面直接跟他聊需求，但是就会花你更多的 token 嘛。所以好用的工具有很多，大家怎么合理使用它是我们需要考虑的。

浏览器搜索 qcloud， 或者直接登录网址，网址在评论置顶下载腾讯封装的龙虾安装包，支持苹果和 windows。 苹果注意选择自己的芯片版本， 下载完成进行安装。可以选择你需要的安装目录， 安装完成 直接用微信登录， 这样就安装好了。赠送的有 token， 可以 免费试用。这里可以选择关联自己的模型，推荐用 coding 图案，不用担心超出使用 token。 这里我在确认模型配置是否正确。这个还可以扫码直接绑定微信机器人，点击左下角，然后就可以用微信控制电脑了。

今天呢我们来讲一下如何在你的电脑本地部署一个 ai 大 模型，从而呢让你拥有一个没有次数限制，没有网络限制，绝对私密安全的本地 ai 助手。 好，首先呢我们需要去查一下自己的电脑硬件配置，看一下我们的电脑适合部署什么样的大模型。那么像我这里呢，安装了一个还比较简单的本地大模型，这个呢在我们的普通的游戏笔记本就可以跑动的一个模型， 以这个为例，我们来讲一下整个的安装流程，只需要根据如下几个步骤就可以完整的安装好我们的本地模型，并且呢后期可以实现随时的来下载别的模型随时去替换。那么最简单的部署方案呢，就是我们的我拉玛加一个 block， 可以 实现我们的本地格式化界面。好，接下来呢我们来按照我们的流程一步一步的来进行设计。好，首先安装我们的这个欧拉玛，我们只需要双击下载，完成后，只需要双击安装即可 弹出提示呢，我们点击试，它会自动帮我们去安装一些环境配置 好。安装完我们的欧拉版之后呢，我们可以先把它关掉，然后在我们的命令窗口里去安装我们的大模型。那么如何验证我们的欧拉版安装成功呢？同样是在我们的，先按 win 加 r 键打开 cmd 命令。 好，这里呢我们可以来输入一下，验证 好，复制粘贴一下代码，点击回车，我们可以看到这里呢出现了这个欧拉玛的版本号，说明我们的欧拉玛就安装完毕了，接下来呢我们进行下一步就是去安装我们的大模型。 好，这里呢我们只需要把这个命令复制粘贴好，如果呢你的电脑配置还比较高，适合一些其他的大模型，我们只需要更改后面的大模型名称即可。 好，粘贴以后点击回车这里呢我们需要等待这个模型自动下载完毕。 好，一般比较小的模型呢，它这个下载也比较快，而且呢它整体的这个占用的内存也比较小，这个呢只有不到一 g 的 内存 好，下载完成之后呢，它会提示 success 成功。好，其实这时候呢，如果我们只是用来和大模型对话聊天，那么我们只需要打开 elama， 我 们可以看到这里呢就会显示我们已经下载好的一些模型。那么最后这里就是我们刚才下的模型，我们只需要选中这个模型就可以正常跟它对话和聊天。 现在这个模型呢是完全的本地运行状态，我们可以试着把网络关掉，然后呢再和它进行对话。那么接下来呢，我们再让它写一个贪吃蛇的拍绳代码， 好，可以看到它这个速度还是非常快的。 好，所以呢这就可以证明。哎，我们这个大模型呢，在本地可以正常的去运行，而且呢可以帮我们去完成一些日常的简单的任务。 好，那么如果说我们有更高的要求，或者说我们的电脑配置比较高，那么可能我们需要去做一些上传一些复杂的文件，或者是让它拥有一个对话记忆功能，那么此时呢就需要我们利用另一个，也就是我们的 open web， 那么 open web 呢，需要借助这个 docker， 所以呢我们还需要先来安装这个 docker， 那 么前提是如果你想有其他的一些更复杂的需求，我们就接着进行下一步，那么 docker 呢？这里我们可以选这个电脑版的六十位， 好，双击安装好，同样我们直接点击这个 ok， 好， 安装完 docker 以后呢，它长这个样子，那么进来的时候呢，可能需要我们去注册登录一下，然后呢需要再次打开我们的 command 命令窗口，然后呢复制粘贴这段话， 好，然后呢在我们的这个 document 里面就会生成一个 open web ui 的 一个界面，那么这个服务呢，就可以让我们在浏览器里打开我们的 web ui。 open web ui， 好， 接下来我们打开我们的浏览器， 好，打开浏览器呢，我们需要去输一个地址，那么这个地址呢，就是启动成功后，我们要访问的这个地址，它复制，然后在我们的浏览器里进行一个粘贴， 然后我们就可以进入到这个 open web ui 的 界面，那么在这个界面里面呢，我们就可以进行一些更为复杂的设置，包括我们在跟它对话的时候，还可以看到你的这个每秒的这个 talk 速度。 其次呢我们还可以去给他进行一些投一些资料，然后可以给他添加更多的这个附件，上传文件，引用网页，引用笔记等等，那么就可以做一些更加复杂，能长久记忆的一些功能。 好，以上就是我们在本地部署我们的 ai 大 模型的所有教程，那么后期呢，我们会出一下我们的 openclaw 小 龙虾，还如何去接入我们的本地大模型的教程，让我们实现零拣就可以玩转小龙虾！

一天一个邪修网站第五十七期今天介绍的网站是今天一个视频教会你怎么本地部署最近爆火的小龙虾，这是一个可以免费本地部署小龙虾的网站，点击立即部署，选择符合电脑配置的模型，这边建议选择推荐的就可以了，然后等待部署就可以直接跟他对话， 就非常简单。在这里你还可以看到他现在所拥有的技能，足足五十一个，也是完全够我们普通人日常使用了。最离谱的是 你担心的托管费用在这里都无需顾虑，这里的本地模型都是免费使用的，而且本地部署数据都在自己的电脑里，绝对安全。更有意思的是，独大师 ceo 田野带着团队的龙虾 ai 纯纯跨界实测，用龙虾五天硬生生憋出六点六万只，从 被拒签到直接过审签约了番茄这本虔诚的网文叫穿镜恋中后全网求我别发疯，感兴趣的爽文爱好者可以去看一看，不想花钱又想试试小龙虾的，可以先从 l f 扣的试试，手不掉队不踩雷就非常离谱。

今天给大家带来的是 amd 显卡本地部署 ai 的 一个系列教程，这个教程将会从零开始，教大家怎么样在本地部署 comuai 以及进阶和优化 comuai。 到后期就会讲到包括工作流怎么搭建，工作流怎么使用，包括这种复杂的工作流怎么样运行。我在这里创造了一些比较简单的工作流，就是基础工作流怎么样运行，我在这里创造了一些比较简单的工作流，都是用了最基础的方法， 然后每一个工作流里面的节点，包括连线都做的比较简洁，方便大家一边学习一边使用。等到了后期的时候，大家就可以构建出这种复杂的工作流， 因为如果大家直接从网上下载别人构建的复杂的工作流的话，可能使用的时候遇到各种问题，特别是我们 amd 显卡， md 显卡的话，有很多 n 卡上能用的节点我们都无法使用，使用就会报错，而且是莫名其妙的错，很多用 n 卡的博主，他们可能也讲不清楚到底是哪里出问题了，也不能帮兄弟们解决。所以说我将会从部署开始， 每一步用相近的文字加上代码，大家直接可以复制粘贴，完全可以复刻所有的操作。到时候我会把所涉及到的软件以及这个文档放到每一期视频的网盘里面，大家到时候下载了以后，对着视频看着文档一步一步操作，百分之百是可以成功的。 然后今天这第一期视频呢，主要给大家讲一下。首先是前言，就是这个视频主要是给新手朋友们录制的，所以说视频会讲的比较啰嗦，有些地方呢讲的会比较细， 然后主要针对的还是 a 卡的兄弟们，如果说有一些 n 卡的话，可能到了后期讲到工作流这一块的时候，可能有些 n 卡的朋友可能能用的到，但是前期的话，这个视频是一点用都没有，看了也浪费你的时间。 然后的话，后期的话，可能我会按照前期视频大家的留言，然后按需要去制作这个视频的重心，因为我现在也不知道大家需要了解的是什么东西，所以说先投石问路， 接下来我叠个讲。我的话呢，也是使用的是七九零零叉 t 叉，像有一些我没接触到的显卡，比如说六系或者最老一点的显卡怎么弄？可能我的教程有些地方可能不对，因为每个显卡它的那个软件驱动程序它是有点不太一样的，但是七系、九系显卡基本上是没有问题的。 还有的话，像有一些懂哥，还有一些爱抬杠的人啊，趁早圆润的离开啊，我不喜欢跟这些人兑现，很烦啊。然后的话，本地部署 ai 有 什么用呢？对于新手来说的话，可能在网上大多数都有了解一下，基本上来说的话，就是 我们常规能用到的话，我基本上就是一些文字生，像这个文字生图片，你写一段文字，让他帮你做一张图片，或者说是用图片来做图片，你给他一张 差不多的图片，你想要这类型的图片的话，他可以帮你生出大概这个类型的图片，或者说是你可以对一张图片进行编辑，比如说像这张图片，你可以给他换背景，换衣服，换头饰啊， 或者是两张图来编辑一张人的，再加一张猫，也可以让这个人抱着这只猫，这也是一种方法，或者可以使用局部重绘，像这个他是一个哎，现在被遮住了，他是一个白色衣服，把他换成了红色，换成了一件红色的衣服， 它原本的话是一件白色的衣服，但是如果说我们通过这种方法可以把它换成红色的，局部进行一个重绘。 还有就是图片放大，像有些图片我们的左右可能有点小范围不够，或者是图片不全，我们可以用这样的方法把它补全，左边、右边或上面，下面扩展，或者可以消除水印啊，这都是最基础的。 图片放大就不用讲了啊，一个模糊的图片，老照片通过放大的方式进行修复。 还有就是纹身视频，用文字然后生成视频，还有就是图生视频，用一张图片 生成视频，现在最主流的像 c x， 二点零这些，现在集美不是很火吗？什么酱板鸭什么的，全都就是用图片或者用文字生成的视频，但是本地上肯定没有那么强大，但是普通玩一玩也是够用的。 讲到这里的话就讲到最后了，最后来说的话，我们本地玩 ai， 不要把它当成一个生产力，很多人觉得我要在本地做短剧啊，那基本上都不现实啊，你就把它当成一个单机游戏来玩， 哎，你遇到的问题，你就当是打怪升级一样，你去了解一下 ai 而已，别想着说是你要在本地，像是特别是 a 卡， 呃，想要做出什么样的东西来，那基本上就是浪费时间，你就学一些基础的本地能够应用的东西才是最有用的啊。我比如说我老照片翻新一下，哎，我把我的照片 进行修复一下，比如说我把我 p 到金字塔上去，我把我换到哪个地方去换换衣服，或者说我可以给自己的妆造换一下，哎，这些还是在本地玩一下还是很有意思的。 最后一点互助啊，我们 a 卡本来就是一个小群体，没有 n 卡那么多的用户，这导致呢？ md 始终迈 n 卡一步，包括很多加速节点啊，包括有些东西都是不全的，所以说 这导致了我们的 a 卡用户在这个运行之中，使用之中遇到各种各样的问题，这也就是我主要想做这一个一系列视频的原因，就是帮助大家能让大家一起快乐的玩游戏，而不是说让大家作为一个生产力， 生产力就要用 n 卡， n 卡五零九零不一定都能怎么样呢，基本上都也就能力就到这里了， 基本上要讲的就在这里了。那么接下来的视频，可能第二期视频，第三期视频，我就会教大家怎么样在自己的电脑上去部署这些东西，如果大家有需要别的需要的话留言我都会看到，然后加在下面的视频里面去，那么今天这个视频就到这里了。

今天的视频我们往本地部署一下全马司，全马司不仅仅是个文本生成器，他还是一个具备多模态能力、多步规划能力及逻辑推理能力的模型，这意味着他在回放复杂问题时，人会像 oe 模型一样展示其思维能力而被进行给出最终答案。 首先我们来到阿拉玛的网站。好，直接点击下载 download。 好， 这里有三个选项， mac os、 linux、 windows 好， 因为我的电脑是 windows， 所以 我们选择 windows 好， 直接点击 download 的 下载， 安装完以后打开这个页面，好，这里我建议先到这个设置里面， 把这个模型的放置位置从 c 盘改为到别的什么盘，因为我们不希望他去占据 c 盘的内存，因为每一个模型他所需要内存还是挺大的，都一般都是几个 g 几个 g 起步的，所以我们优先把选择到比较空的字盘里去，把放置一下， 然后我们打开这边的模型挑选，让我们浏览一面，发现没有我们想要的詹姆斯， 然后我们就打开我们终端，这里 vr 一下，好选 cmd 终端，打开以后，我们输入这一串，好点击运行。然后这里我简单介绍一下杰姆斯，他有很多不同的版本， 这比方说二 b 或者四 b 的 版本，他门槛就比较低了，你只要有三六零或四六零的显卡，一般建议是二 gb 上的显存，你就可以流畅运行它了。 然后像三十一 b 这种大型版本，一般的显存要求就很苛刻了，通常你需要有二十四 gb 上的显存，比如说四零九零或者最新的五零九零。 我们刚才下载的是一四 b 的 版本，这里的话，如果你显存不是很够的话，比如说只有六 gb 的 五零七零太好，你去强行下载运行二三十 e b 版本的，有时候可能模型会回退， 就会导致推率速度大幅下降，甚至会出现卡顿这种情况，所以这里我建议还是下载一四 b 的 版本比较好。 如果你想在终端里下载三十一 b 的 大型版本的话，你其实只要在终端指定你后面加他的后缀名就可以了，终端显示这个页面网名他已经下载完成了。 我们重新回到阿拉玛上去，我们打开这边的模型找一下，发现他已经有杰玛斯了。好，这里我问他一个问题 啊，这边就在思考好，因为詹姆斯他是个多门态模型嘛，所以我们我们发张图片 问他一下， 他回答是，其实我发现他一张关于 solo 的 logo 图标，他那边回复就是比较普通，这原因可能就是因为 在训练的时候可能关于这种特定图标样本不够多，然后詹姆斯就只能根据形状进行通用的描述，没有办法直接叫出丝袜的名字。 然后第二个原因可能是因为没有上下文的提示嘛，而他为了避免幻觉也就胡说八道，会优先选择客观描述图片内容，而不会去盲目猜测他到底是什么东西。 还有另一种可能就是像四 b 中尺寸的模型，在常识库的深度上可能会有所折中吧， 他或许能够理解图片里的解剖结构，但在于瞬息外面的互联网流行图标可能随便识别率就会稍微低一点。然后以上就是本期内容了，如果你觉得我的视频有帮助的话，那就给我点个赞，投个币，加个关注吧！

ok， 这个 cloud code 我 已经是成功在本地上面去运行了，发到了那个 github 上面去了，网址在这里你们可以看一下，我跟他一个对话，去读取某个文件，然后回答其中问题，填写上他的答案。我去看了一下他答案，确实已经改进去了。接下来这个是教程啊，直接把这一个复制，然后我们去到这里面，在这里复制进来， 它就自动克隆到这个地方来，然后按确定就好了。下一步就是配置自己那个 a p i， 先用这个打开，你们用记事本打开也可以，然后还有打开这一个， 这个是例子啊，我是用那个归机流动的那个 a p i 来搞的，你们也可以直接放进你们提米的那个 a p i， 因为我以前用过归机流动那些，里面的余额还在。 ok， 现在已经配置好我的那个 a p i 了，弄了一个双击启动的一个，很方便，你们到时候配置好 a p i， 直接双击个启动就可以了。 然后它这里会让你啊，你就选择这个。 yes， 按这个回车键，让我们来看一下它能不能正常地对话啊，你是谁？哎？ 你是谁？ ok， 它也是可以回复的，然后我们先来做一个简单的测试，虽然我想让它去读我这一个测试文件啊，看它能不能读到我里面的东西，并且回答我有没有问题 啊。复制，然后给他，他这里就是问我继不继续的意思。 ok， 他 成功读取到了我其他文件夹的文件，看，而且他回答对了，所以就是 可以的。呃，清除掉他记忆的话，就另他就好了，他就没有了。如果你们不方便去克隆的话啊，我在群里面有放那个，那个我下载好的那个压缩包，你们直接去解压那个压缩包，按照我刚才的那个流程去搞就好了。

最近有一个基于千问三点五二十七 b 的 cloud 蒸馏版大模型，在开源圈刷的很猛，号称本地最强大模型。很多人已经下了，更多人还卡在第一步，不是下载慢就是装玩跑不起来，或者跑起来以后发现根本不是自己想要的东西。 这期我只解决三件事，它到底藏在哪？什么人该装？ windows 显卡和 mac 到底分别用什么方案？还有国内网络环境下，怎么把最实用的版本拉下来，别在第一步就耗一晚上，先把话说死。这个模型不是拿来陪你聊天的， 你要的是情绪价值，自然闲聊，写点轻松内容，它不占优。它真正有价值的地方是代码、数学和硬逻辑。 你可以把它理解成一把偏科，非常严重但是刀口特别锋利的工具，用对地方效率很夸张，用错地方你会觉得它怎么这么拧巴。很多人对它评价两级，不是模型不行，是场景没对上。 他最能打的地方不是打的多花，而是思路更像干活的人。很多模型碰到复杂问题，前面看着挺唬人，后面就开始绕，换个说法，把同一句话讲三遍。 q opus 这一类蒸馏的好的模型，价值就在这里，他会更快进入拆任务的状态， 先抓目标，再拆步骤，再看边界条件。这个差别在代码场景特别明显。比如你让他改一个项目里的报错，不只是让他给你一段代码，你要的是他先判断问题在哪一层，是依赖冲突，是输入格式不对，还是你整个调动链写歪了。 他如果会把思路按步骤展开，后面给出的修改方案就更稳，不是玄学，就是因为他少了很多来回打转的废话。再说那个最直观的标志就是 think 结构，你会看到他不是直接甩答案，而是先把过程铺开。这个过程本身就很有用， 因为你能看见他是不是走偏了，他要是第一步就理解错题，你马上能发现，不用等他输出一大头结果再返工。 对于做代码、做逻辑题，做复杂规则判断的人，这个透明度很值钱。还有一点容易被忽略，他不是只会做单一题型，社区里对他评价高不只是某一道 benchmark 分 高，而是他在逻辑、数学、编程这些需要连续推理的任务里表现比较均衡， 这种跨任务稳定性才决定他适不适合真拿来干活。如果你不是单纯在终端里问答，而是拿它接近 agent 流程， 这个模型还有一个很实用的点，它原生支持 developer 角色翻成大白话就是你少折腾很多俄式兼容和模板修补的问题。对于接工作流的人，这种省事比参数多两分少两分更重要。实际用法也很直接，你可以把它看成一个本地代码，大脑 挂到 defy 这一类工作流工具里，或者放进骗代码的执行链里。以前你可能接的是云端模型，现在只要机器带得动，就能把一部分代码任务搬到本地。这样做的好处很实在，响应稳定，隐私可控，而且不依赖外部接口受封。这个点对写代码的人吸引力很大。 最后直接给结论，你手里如果是三千零九十、四千零九十这一档的显卡，或者是三十二 gb 内存级别的 mac， 就 刚好需要一个离线的代码和逻辑助手，这个模型值得装。它的强项很明确，干活能力也够硬。 如果你主要是聊天解清内容，想要一个说话自然又会陪伴的模型，那就别把时间花在他身上，他不是这个方向的优等生。这期先把定位讲清楚， 后面的下载部署和参数设置，按简介群的内容直接照着做就行。跑起来以后第一件事不是闲聊，先拿一道代码题或者逻辑题试它，你会很快看出差别。

今天给大家带来手机本地部署大模型，无需网络支持 ios， 安卓无需特殊网络环境。当然了，今天部署的是谷歌最新发布的模型，小模型的性能大家都懂得，娃娃可以正当生产力，还需要等待发展一段时间，和电脑的本地部署是一个道理。 那么我们先进入 ios 的 教程其实非常非常简单。首先先进 app store 下载如图的应用 google ai edge gallery， 安装好之后，我们直接打开进入 ai 对 话， 会发现我们首次运行的时候会让你下载模型，因为我手上的这台设备是 iphone 十五 plus， 因此我选择下载这个折中的它推荐的二点五 g 的 模型， 等待它下载完成之后，我们可以和它对话看看。这个时候我进入飞行模式，把网络给关掉，它是完全本机运行的，会发现我们已经可以和它对话了，只不过在运行的过程中，它可能有点微微发热。当然了，小模型的智商就是这样，和它进行一些简单的对话是可以的。 那么接下来我们进入安卓的部分，然后我拿来做演示的这台手机是荣耀八零二， 在国产的安卓机上，我们有两种安装方式，第一是通过 apk， 也就是安装包进行下载，第二种方式就是你需要一些手段，对吧？上网的手段，然后进谷歌商店里进行下载，下载好打开之后和 ios 里的使用是一样的，我们首次进入的时候，点击下载模型，同样还是这个二点五 g 的， 然后就可以和他进行对话，我们可以问两个问题来看看效果，嗯，就比如说我离加油站五百米，我是应该开车去还是走路去看看他怎么回答？ 最后我们就会发现没有说必须开车去，对吧？去加油站。所以说小模型的这个智商这一块肯定是和 ap 还远远比不了， 但是这也代表着这给我们一种可能性，随着科技的发展，模型的发展以及手机硬件性能的发展，拥有一台纯本地部署的 ai 助手将成为可能。那我们今天教程就到这里，非常简单，我们下期再见。

谷歌最新开源模型 gemma 四，用 app 七二点零协议开源商用模改都没问题， 今天教你三步，把它装进自己电脑里，从此跑模型不花一分钱。 gemma 四有四个版本， e two b 二十三亿，参数四 g b 内存就能跑，只缺图片和音频输入，手机都能带动。 e 四 b 四十五亿，参数六 g b 内存，适合日常聊天。 二十六 b 是 混合专家架构，总参数二百五十二亿，但每次只激活三十八亿。十八 g b 内存性价比最高。 三十一 b 满血版三百零七亿，参数全激活，跑分最猛数学推理八十九点二，编程能力八十百三、 一句话总结四 g b 跑一 two b 六 g b 跑一四 b 十八 g b 跑二十六 b 二十 g b 以上跑三十一 b 第一步，安装欧拉玛 mac 用户去官网下载或者用 homebrew 安装， windows 用户打开 powershell 一 行命令搞定。 欧拉玛是目前跑本地模型最简单的工具，模型下载推理引擎 api 服务全包了。第二步，拉取模型， 打开终端，输入欧拉玛瑙，加上你选的模型版本，比如 gemma 四、二十六 b， 欧拉玛会自动下载并启动对话。第三步，开始聊天，下载完成直接进入对话界面问一句，看到回答就成功了。 三步搞定几个加速技巧 mac 用户欧拉玛最新版会自动使用苹果 m l x 框架，推理速度翻倍。 n d d 用户欧拉玛零点一九，支持 nv f p 四格式用更少显存跑模型 r t x 四十合系以上自动生效。最后附上常用命令，欧拉玛 list 查看已下载模型 olama ps， 查看运行状态 olama stop 释放内存总结一下， gemma 四是目前最值得本地部署的开源模型之一， 阿帕奇二点零协议 olama 三部安装，根据内存选版本就行。赶紧试试吧，免费的 ai 不 用白不用。

大家可能在网上经常看到很多这些 ai 图片，如果我们想要批量生成很多张图，可能会用到 grok 豆包 ai 生成图片，但云端 ai 厂商是不会把那么多算力分配给你的，这时候我们只能考虑本地部署大模型来解决这些问题。 本地部署 ai 可以 无任何限制，尽情发挥自己的丰富想象力。当然我们还是要有些底线思维，点到为止就好，不要做的太过分。这里我推荐使用 comfyui 作为可视化界面来运行各种本地部署的 ai 大 模型。 首先我们在 github 上找到 comfyui 项目，如果 git clone 不是 四四三的话，操作更简单。这里我们不使用 git clone， 直接手动下载 release 版本，选择第二个 英伟达版本的七 z 包，这个是开发者翻译好的二进制包，解压完成后即可使用 com 优 i。 对 于生成图片的大模型，我们可以根据自己的需求来选择。这里我打算使用别人预训练好的 s d x l 大 模型来生成图片。我们可以在 c r v t i 网站上搜索关键词，找到对应的大模型， 找到之后点进去，然后点击下载。 解压完成后， comui 的 根目录下存在以下文件，我们将下载好的大模型移动到这个路径中，后缀名字是 safe tensor， 然后双击让 nvd 啊 gpu 正常情况下就能正常运行。这里我没有素材，直接讲一下如何处理无法运行的情况。无法运行的情况主要有两种，缺少 dl 和英伟达驱动没更新。少数情况下是端口号冲突和系统版本过低。首先是 dl 版本过低的问题， 如果找得到 dl 可以 手动导入，因为这些 ai 大 模型本质上对于用户来说是未开发好的大模型，特别是家庭版 windows 砍掉了很多开发用到的 dl l， 所以 运行时需要给他准备好开发运行环境。 这里有更简单的办法，可以直接在微软官方下载 visual studio， 打开之后点击右侧下载自己操作系统适配版本的 sdk 开发包，如果实在不放心，也可以同时把这两个一起下载了，这样我们 dl 赖的问题就解决了。 到这里如果还是无法正常运行的话，就使英伟达驱动版本的问题。首先进入英伟达官网下载驱动，我们先选择自己显卡配置还有系统版本，这里我以自己的电脑四千零六十八 g 电脑为例， 往下选择工作室版本，然后点击 view 来下 载，完成后直接安装即可。

部署本地的 openclaw 已经可以剪视频了，大家都知道了吧， 这个让硅谷大佬每日一封的 openclaw 阿月，我呢也是拉到本地试了几天，现在就带大家把本地部署和接入飞书每一步都走明白。为了防止偶然性啊，我呢也是连续测试了四台电脑，确保每一步都可行，接下来你们只要跟着做就可以。点好关注收藏， 我这里依旧用的是 windows 系统来操作，因为 macos 系统呢，环境相对比较简单，不像 windows 这么复杂。首先呢，我们要确认好 windows 的 安装环境，安装的时候呢，全部都点 next， 一 直到完成即可，建议呢，不要去变更中间的安装路径。 呃，安装完成后呢，我们可以检查一下环境，我们在命令提示符的窗口输入这两个指令，如果输入指令后跳出版本号，那就说明安装已经成功了。这里提到的两个环境文件呢，我在文档里面也全部都准备好了。 好，接下来呢，我们就开始全区安装 oppo 卡使用管理员 c m d 指令输入，这个指令安装完毕后呢，再输入这一条指令， 好开始了。 ok， 这一步跳出来的呢是风险提示，我们直接选择 yes。 然后呢我们选择 quickstart， 这一步呢是选择大模型，我这里呢用的是千万，因为他是国内的，如果大家有惯用的呢，也可以自己进行勾选好，然后我们这里模型选择默认的即可。 之后呢会跳转到大模型的首页进行授权验证，大家验证通过就可以了。那通过后呢，这里也同样有一个选项，我们直接选第一个默认的模型。 ok， 下一步呢，这里可以看到很多的应用选项，这其实呢就是指令输入的终端，因为这些都是国外的，所以我们先不管，选最后一个，跳过，后面呢我会给大家介绍如何接入国内的飞书。 ok， 继续，这里会问你需要配置什么 skills？ 呃，我们也跳过，没问题，因为这个不着急，后面都可以手动去配置的。 好，这个也不用管我们用不上，直接跳过。好，然后我们稍等一会，会自动弹出一个网页，然后你会发现这个网页是打不开的，没关系，我们这个时候呢，再运行一个 c m d 的 指令， 好，这就是欧奔 cloud 的 兑换框了，我们来尝试和他打个招呼， ok， 他 回复我了，那到这里呢，其实基本上就成功了，还是比较简单的啊。然后呢，我们再来尝试为大家接入一下飞书，很多小伙伴呢，在这一步呢，其实就被劝退了，因为怎么样都接入不了这里，大家看好我怎么操作。 首先呢，我们进入飞书的开放平台，我这里呢用的是个人版，我们来创建一个企业自建应用， 进到这个凭证与基础信息界面，把你的 app id 和密钥保存下来，这个很重要啊，后面会用到的。然后 我们添加一个机器人，再到权限管理这一步，为他添加一些权限。这里的权限列表呢，其实官方呢是有指导文件的，但是呢就藏的比较深，我呢也是给你们找出来，直接放到文档里面了，你们直接一键复制过来就 ok。 好，然后我们需要配置一下这个事件回调功能，在这里的订阅方式选择长链接这一步呢是必须的，而且是绕不开的，也是大家碰到卡点最多的一步，很多小伙伴呢在这里呢就是一直报错，好，不用担心，我呢，已经整理了一份非常长的傻瓜教程，大家直接照做就 ok 了。 然后选择以后呢，我们添加事件，然后添加搜索接收消息， ok， 然后我们就去点击创建应用，然后再发布就 ok 了。 好了，配置工作完成之后呢，我们就要开始给欧邦克劳接入飞速杀键了。由于 windows 的 系统环境问题呢，所以大家的电脑情况都不太一样，所以会出现不一样的报错问题。网上的很多视频呢，也没有把这个问题针对性的讲清楚，我自己呢也试了三到四台电脑来做尝试，都非常有挑战。 如果你手边也报错的话呢，不用担心，我这里想到了一个邪修的办法。好，那既然 oppo klo 可以 控制我的电脑，那为什么他不能自己安装飞出插件呢？我们来试试看吧，直接和他对话。呃，你自己安装一下飞出插件，然后呢，他就会开始疯狂的工作，并自行去验证安装环境和插件配置 啊。五分钟左右后呢，他就会告诉我，他工作完成了，需要我提供给到他飞出机器人的 app id 和密钥。这个呢，其实我们在上一步已经有了，我们直接复制给他，让他呢继续去工作。这里的工作过程当中呢，我们的机器人可能会下线几次，原因呢是他需要去重启网关， 如果呢，你感觉他下线太久的话呢，我们可以用 open cloud get away 这个指令重新把它呼出来。最后呢，他会要求你在飞车上和他对话进行测试，并为你排除最终的一些故障。 ok， 全部搞定，已经可以在飞车上正确回复我了，并且呢，刚才在外部的对话记录他也全部都记得， 呃，我们这里呢，再用手机给他发一条消息试试看。好，他也同样接受成功了。好了，这里欧本卡接入飞书的配置呢，就完全对接成功，基本上都是他自己完成的，我呢只是配合他提供了一些必要的信息， 妥妥的全能小助理。接下来我们来看看他能为我们做一些什么吧。比如呢，我现在想要订一张机票，我就让他帮我查询一下最便宜的航班，他立刻就给我列了具体的信息，包括航班号，价格以及其他的一些航班信息。不过这一步呢，是需要接入 api 的， 大家可以自行去网上找免费的接入就可以。 好，那现在过年了嘛，马上大家呢也会送礼嘛，那我就让他去浏览电商的页面。呃，不过这里呢，需要先安装一个 oppo club 官方的浏览器插件，我们直接从官方渠道进行安装就可以了。具体的步骤呢，已经放在文档里了，大家直接照做就可以。我让他给我打开。 ok， 成功，呃，然后我继续让他为我搜索燕窝。好，也成功了。 好，那我们现在在拿最近小伙伴在学习的 ai 的 线上作业丢给欧本克，看他能不能帮忙完成。 首先我们要让他找到作业的本地目录，并让他完成里面的题目。他立刻就找到了，并且迅速告诉我，完成了。啊，这速度还是真的蛮快的啊，但是呢，人呢，还是比较懒的。如果呢，你抄作业都不想抄啊？没事，直接让他把填完的东西返回给我。好，他已经做完了，我们来看看啊。 呃，代码呢？全部都完成了，不过呢，我也是看不懂啊。看懂的高手可以来说说他完成的这个准确率怎么样。 好了，那这次安装说明就先讲到这里了，关于 open cloud 的 更多能力，有时间呢我们可以再去测一下。好，那既然已经部署成功了，有兴趣的同学呢，也可以再去深度探索一下 啊。对了，现在呢，各大厂呢，也出了针对 open cloud 的 云端部署，我这个呢，也可以跟大家快速的分享一起。好，这里是阿月，希望我的视频能够帮助到你，让你更了解呀，我们下期再见。

一开始我是展示了一个同步视频， 然后呢，我的小伙伴们以为，是啊，女生和我做同样的动作，或者我和女生做同样的动作，于是我才出了下一个视频，就是 真的是有一个人去做一样的动作，而是，嗯，结果发现他的流量爆火，好多人问他是怎么做的，所以我给大家来解释一下。好，那么接下来我给大家讲一下这个整一个制作过程其实非常简单，那么首先 你需要有一个女朋友，嗨，或者是有一二三四个女朋友都可以。 ok， 然后这里就是我平时工作的操作台， 看一下我平时做视频的时候用的就是工作流，所有的 操作是用工作流做出来的，康复 u i 康复 u i 的 工作流， 嗯，都是用软件，所以相对来说更自由一些，然后可以从网上学到很多很多的东西。 ok， 所以 现在啊，你觉得我是真人还是他是真人？

当你跟一个摄影师或者跟一个设计师沟通的时候，你跟他说我现在要别的角度，人是立马就能理解的，但是呢， ai 他 似乎不能理解我们想描述的这种语言，我觉得我们人就要用这样的语言跟计算机描述，我们不要去 改变我们的语言环境，也不要改变我们语言的方式，我们就要用那种我们跟人说话的方式去跟 ai 沟通，剩下的是 ai 自己进化自己改变的问题，我们不能被 ai 改变，这是我想说的一个点。我那天在网上看到一个特别好用的 ai 工具，就是这个 千万 image edit 二五一一，它是可以控制一张图片的不同角度旋转，这个角度就跟你在玩三维软件一样，然后点击这个， 它就能生成出来相应的这个角度。这个东西对我来说太好用了，我平时我做视频的时候，我的背景是扣绿的嘛，就会放一些 ai 生成的图片当做背景， 但是这些背景呢，它角度一般都是只有一个，我要想改变机位，改变角度的时候再换这个背景就很麻烦。很久之前我采用的方式有两种，第一种是在三维软件里面找图，第二种是在三维游戏里面找图，因为这两个都是三维的东西，我可以自己随意的调整摄影机的角度。 当时我就在想有没有那么一个东西，我直接丢一张图片，然后我就可以旋转摄影机的角度，他就可以给我生成相应的这个角度的图片了。没想到这玩意真的有，而且是好几个月之前就已经有了。一开始我知道这个是刷到一个抖音博主讲的，然后他说这是一个网页，后来我就顺着他的这个录 屏找到了这个网页，就是现在这个，如果大家要的话，我待会把它放到评论区里去，但是这个小玩意它使用起来效果很不好看，它原图是这样的，我调整的角度 让他跑到一个高机位俯拍，结果他生成的画质是这样的，角度倒是对了，但他这个效果非常差。然后我就又继续搜关于这个工具的视频，发现，哦，你得在 comfyui 上部署工作流，效果才会更好。 现在这个就是在 comfyui 里面的了，不再是刚刚那个网页上的了，我之前有听说过 comfyui， 就是 只知道他是一个部署 ai 工作流的平台吧，算是。除此之外，我对他的了解就是零了， 我也完全没想研究它，因为我之前是觉得研究这些各种各样的 ai 工具意义不是很大，就你刚熟悉一个工具还没来得及， 还没来得及用它把它的价值发挥出来呢，新的工具又出来了，所以我呢，就是单纯抱着想体验一下的心态，就想看看它这个控制摄影机生成的多角度效果，到底有没有 那些 ai 博主吹得那么神。然后我就开始入坑研究这个 cosplay 了，后面我花了两天一夜的时间，基本上都耗在这个上面了，中间就睡了两三个小时，因为我没想到的是，就是这玩意它还挺上头，挺好玩的。好，我给大家演示一下，这就是我之前的片子里面用豆包生成的图片，好来个 dj v 的 仰拍， 现在已经是最低了，然后点这个 run 运行，他这个跑的时间不一定，有的时候快，有的时候慢，主要看大家的电脑，我的，哎，好了， 跑出来了，看这个角度非常厉害，真的非常厉害，而且画面很清楚，侧面角度这里是看不见的，所以他自己把它给计算了一下，弥补了一下，然后这些灯墙的这些质感都是对的。

目前市面上有非常多的这个龙虾的部署方案啊，总结下来，对于我们普通人来说，主流的就两种，一种是用这些大厂直接优化好的一个一键式部署，三秒钟就能部署成功的一个方案。还有一种就是买一台 mac mini， 然后去接一个大语言模型去部署。哪一种方案是最好的？那我告诉你，没有最好的，只有说哪一个最适合你啊？我是建筑设计行业的，我经常都要用电脑， 而且用一些比较复杂的各种各样的一些软件，那对我这种人来说，我天然操作电脑的能力就还可以，然后也愿意去研究一些新的东西。如果你也跟我一样是属于这一类人的话，那我告诉你最好的方案就是买一台 mac mini， 然后去接一个大语言模型进行部署。 如果你平时基本上都不用电脑，只是在手机上去操作一些软件的话，那我的建议就是直接在选一个大厂的，然后一键部署。 为什么这么说呢？因为你买一台 mac mini 并不代表你就一定能够把这个东西装上，因为装这个，呃， open color 的 这个过程是有一定门槛的。对于我这种人来说，呃，我操作下来我都是跟着别人的视频一步一步的去操作，而且操作过程中还会出现很多问题，很多 bug， 我 还得去问 ai 怎么解决，然后一步一步的解 bug， 这个过程对于普通人来说真的是相当相当难受，有可能你在装的过程中你就放弃了，那你买了 mac mini 不 就浪费了吗？而且装好那也只是第一步， 那你以后装好之后，你你时不时还得更新，因为它是一个开源的一个项目，并不是一个成熟的大厂做的一个比较成熟的一个产品，也出现了很多安全的问题。有可能你两三天就要更新一次，而且更新了之后，有可能你原来接的飞书的或者其他端口的都断联了，都没法用了，那你又得去解 bug， 去操作半天，这一套操作流程下来， 你真的是会放弃使用龙虾啊。所以我现在建议是这样的，如果你到目前为止，你只是在网上了解了龙虾，但是还没有真正使用，那么你现在先别着急去买一台 mac mini， 你先找一个你信任大厂的去装一下它一键部署的龙虾，先用一段时间。当然我也要提前提醒一下你，一键部署的这个呢，虽然它方便，但是它的权限呢，也会大打折扣，它的能力的上限也会大打折扣，因为你在云端部署的那个本地你根本就调用不了， 就是那台电脑你不知道在哪里，你也看不到它的界面，你只有一个聊天窗口界面，那么你可能大概率感觉它跟你以前的这个 ai 是 没有什么区别的。 然后再加上你还得要接很多这种 a p i 接口，比如说你想要纹身图、纹身视频，那你得要花钱去买它的 a p i 接口，你才能让龙虾完成这件事情。这个怎么理解呢？ 就比如你买了一台手机，你不给它付费买流量，你是不能上网的对不对？你不装软件的话，那它也就只能去翻一下这个基础的界面，基础的功能对吧？你不能达到一些比如说剪视频这些功能，所以你在云端用的时候，你大概率是感觉不到它比原来的这个 ai 有 提升特别多的 好。但是我也建议你先尝试在云端用一下，你用完了之后呢，你再去想象一下你有没有使用龙虾的场景。比如说你在公司里或者你生活中有一些比较 复杂的，重复的，但是他的每一步操作呢，都是比较清晰的，你可以把它流程化的一个事情，如果有的话，那我恭喜你，你利用龙虾大概率是可以去提升你的效率的，你把你的整个这个流程，把它跟龙虾用自然语言沟通一下，告诉他你的这个需求，然后让他帮你生成一个这样的一个技能 scale， 让它每一天帮你自动化的去完成。如果你在用云端的过程中，你都发现不了一些使用场景的话，那我建议你现在也先别着急去买 mac mini， 因为，呃，有可能你大概率在短期内找不到你的使用场景，那你就需要等一段时间，等几个月，等各行各业的牛人 把一些技能研究清楚了，把一些需求场景研究清楚了，然后它们就会出一些教程，然后你就跟着这些教程手把手的去用这个东西， 那他大概率是能给你带来提效的。但是我也要提醒一点，那那些人提前研究出来了，他提前使用了，肯定是能够提前享受到红利，然后赚到很多钱的。 那你后使用的人大概率只是在你原本的工作和生活中稍微提点效率。反正最终总结就两点，就是如果你是一个平时不怎么操作电脑的人，你就直接云端一键部署就可以了。那如果你是一个经常用电脑，也经常用一些复杂软件的人，那我建议你现在就直接买一台 mac mini 直接干，或者你以前有一个老的笔记本，那你就用 windows 去本地部署了。但是 windows 本地部署会有一点麻烦。什么麻烦呢？就是它的步骤会多一点。当然我相信对你这种你们会操作电脑人来说都不是问题，因为网上的教程都已经比较成熟了，它无非就是要先安装一个能够用 linux 系统转换的一个系统。 那 windows 系统就是不太友好了啊，有可能你在用的过程中你会发现不太稳定，甚至你自己的电脑，因为，呃，平时用的时候风扇也要转啊，然后电屏幕也要开着啊，然后经常他可能因为温度过高啊，或者什么蓝屏啊，各种问题啊，甚至你的电费消耗也是比较大的啊。如果还没有用龙虾的一些朋友啊，我建议你们从现在开始就用起来。

使用欧拉玛可以一键部署本地大模型，我选择的模型是千万三点五九 b， 现在来演示一下， 可以看到 gpu 使用率向升，由于我这台电脑的显卡配置比较低，所以输出的比较慢。 好，终于输出完成了，接下来是 gg 教程。 首先肯定是要下载欧拉玛的这个软件，进入欧拉玛的官网之后，选择 windows 点击下载，当然这个下载起来会非常的慢， 我也给大家把安装的程序上传到了网盘下，下载后双击打开直接安装，安装完成之后就是这样一个界面，可以在这里点击你想要的大模型，比如说这些是云端大模型， 从这里开始就是本地大模型，这个是谷歌开源的本地大模型街吗？ deepseek 千问三，还有其他的一些模型啊， 对于模型怎么挑选，得看电脑的配置，比如说我这台电脑 cpu c a m d 二五六零零两根 d d e 二四的一六 g 内存条， 显卡是一六六零 s 六 g 的 显存，这个已经是非常老的显卡了，后续我准备根据我的电源升级成四零六零 t 一 六 g 显存的，所以根据我的电脑配置 选择了比较小一点的模型。那你的电脑适合哪一个大模型？可以把配置发给豆包问问，让豆包帮你分析适合下载部署什么样的大模型。今天的教程就到这，关注我，评论私信。