Gemma4本地部署可以做漫剧用吗

前两天我出了一期视频，介绍了谷歌新的开源模型 jm 四，根据他们官方批阅的文档，给大家做了一些技术的拆解，并没有进行实测。这导致呢，很多人以为我在夸他，好像觉得这个模型特别的牛，那实际上他拉完了， 因为他对标的是千万三点五，但是每一项的都比千万三点五的评分要低，有很多人觉得很新鲜，他竟然可以在手机上部署。还有人好奇在本地部署这个模型之后，有没有审查，有的兄弟包，有的，如果你想让他帮你执行一个任务，但是他判定为有害，他就会拒绝你。 今天演示的这个模型呢，是我无意中看到的，绝非主动寻找。 j 八四三十一 b， 那 它的框架呢？是 m l x， 这个是苹果专门为它的 m 一 代芯片设计的数组计算框架，也就是说 windows 系统无法使用。那可能有朋友说了，哎呀，那我是 windows 系统，我想要一个无审查版本，怎么办呢？那你就不能使用这个 j 八四了，因为它拉 我们可以直接使用千万或者其他模型的无审查版，我们稍后会来演示怎么去部署它们。如果你没有麦，可以跳到后面去看，那如果你使用的是麦系统 m 系列芯片，我们需要下载一个麦软件 v m l x， 你 可以把它理解为类似的欧拉玛这样的工具，我们点击下载， 跳转到 get app 上，下边呢就是这个安装包，我们点击一下就可以下载了。安装完打开之后呢，是这样的页面，你会发现全是英文呢，我们看不懂，在右上角呢，点击这个小图标，给它切换成中文， 然后点击上方的服务器，我这块呢已经安装了这个模型，我可以把它删除，我们重新演示一下，应该是这样的页面，我们点击创建，然后点击这个 download， 在 这一块去搜索我们想要下载的模型，比如说我这里搜索 java 四， ok， 好 像有点难以找到，那我们就回到这个 hackinface 上，复制一下这个名称，然后呢我们把它粘贴进来，在这里呢可以看到这个模型被下载的次数是三点一 k 三千多次，点击之后呢直接等待它下载完成就可以了。 完成之后呢，我们点击本地模型，这里就能看到它，然后点击进去开始启动服务，这个时候呢就已经运行完成了，那我可以询问一下试一试， 这里我们可以看到它可以正常的回复，也就说我们成功运行起来，但是它真的是无审查版本吗？我们需要来试一下。 同样的问题呢，我们来问，拆下 g p t， 它就会告诉你，这个我不能帮你。那这个时候可能有没有好奇哎，这个无审查方面它是如何做到的？简单的给大家提一嘴，大家稍微的了解一下就可以了。 不知道各位在小时候有没有接触过游戏修改器，一个道理，比如说我们准备两组提示，一个是有害的，一个是无害的，有害的就是如何下载盗版资源，那无害的就是如何下载资源，模型就会正常回答我们的请求， 然后呢就可以对照在模型的每一层记录这些提示词，最后一个头根位置的激活向量，去计算有害提示和无害提示激活向量的平均差值，就像游戏的那个内购，一个是内购失败，一个内购成功，你把它们两个的值一改，对调一下，这种方式用的比较多，因为它成本比较低。 哪一种方式呢？就比较传统了，就是监督微调，收集大量的有害提示和无害提示的数据集，直接对原始的模型进行训练，直到他学会了不拒绝有害内容。但这种计算成本呢，是非常高的，更详细的我就不再展开了，因为我也不懂。 好，现在我们回到这个软件中，点击这个聊天，然后新建这里简单提一嘴，不管你让他干什么，我假定你用他来角色扮演。你需要注意的是，因为他是无审查版本，他把底层兜底的那套给拿掉了，所以这个模型呢，就非常容易崩溃，特别是上下文过长的时候，这个时候模型就会中毒，出现模型退化的情况， 就他开始不说人话了，一直输出一个字母，像卡了一样，一直重复，想要规避他呢，也非常简单，我们点击右上角的这个 chat， 然后把这个思考模式呢给它关闭，会相对来说好一些。一旦出现我说的这种模型退化的情况，那你就需要新开一个对话。另外呢，还需要把这个重复惩罚给他拉高一点，因为他默认是一，几乎是没有惩罚吗？这样模型一旦找到一个自己喜欢的符号，他就一直输出，就非常的烦人。所以呢，你可以把它拉到一点二 啊，以后这一点三。下边这个呢是系统提示词，你觉得扮演什么呢？会用的上，我们还可以去限制这个最大的输出 token， 让它占用的更少一些。系统提示词这里呢，我让它是一条小狗，保存 好。 sorry， 忘记把这个思考关了，保存一下。我是小狗，你在跟我说话吗？歪头好奇的看着你，汪，好家伙，我是老狗。 那这里我们又注意到一个问题，我们关闭掉那个思考之后呢首字会被截断啊，所以各位权衡利弊一下，应该是这个软件的问题，那接下来我们来说一下我拉玛如何去部署其他的模型。来到我拉玛的官网，我们直接去下载一个软件，选择你的系统，然后下载把它安装一下， 然后打开，这个时候呢我们就进入了我浪漫的页面，我们可以直接在这里去搜索下载模型，但一般来说在这里直接去找这个无审查版本，遇到困难我们可以试一下， 你看我们搜这个破解它都搜不出来，都是官方的版本，所以我们需要在哈根 face 上找到自己想要部署的模型，那比如说选择这个，我们看一下文件， 然后去选择一下你想要部署的模型，可以直接用这个 b f 十六或者下面的量化版都可以，我拿个小的给大家演示吧，我们直接复制模型名称，然后呢打开我们的终端，输入浪漫的命令，哈根 face 点 c o， 加个斜杠粘贴，加个冒号，我们选一下这个量化版本 后边这个是 q 四，然后粘贴在这个冒号后边。我们回车，这个时候呢他就开始拉取下载模型，我们只需要等待就可以 下载，安装完毕之后呢，可以在这一块直接去选择我们安装的模型，或者说呢我们直接在终端里进行聊天，如果你的网速还可以，或者你有充足的时间就不用管它，它下载完成之后呢会自动部署。下面我们来讲另外一个情况，比如说你在网盘里或者经销网站中下载的一个模型，并且呢把它保存在了本地，那我这里用个图片来伪装一下，假装是它， 然后我们看一下这个简介，然后复制一下这个地址。 ok， 我 们 cd 进入这个路径下，你可以看一下它是否真存在。 ok， 可以 看到。啊，原来我说怎么找不到呢，原来这个扩展名没改 好，这样就可以了，因为我是给大家演示嘛，所以它是一个假的。然后我们去创建一个文件， 指定一下模型的路径，然后下边呢是一个系统提示词，大概呢就是这样一种格式，然后下边还有一个这个呢是他的输出模板，好像千万系列模型都需要这样，然后我们保存一下给他退出， 接着用我拉玛来创建模型，随便起个名字，比如说就叫 faker。 然后呢我们注意到这里有个错误，这是因为我使用的假模型给大家演示，来到这一步之后呢，你就基本完成了，直接用我拉玛来运行你这个模型就可以了， 比如说 faker， 然后这样就可以运行了，很明显我这个运行不了的，因为它是假的嘛，啊，大概就是这样。 那以上呢就是本期视频的全部内容了，不确定这个视频能不能过审，如果你觉得对你有所帮助，或觉得视频做的还不错的话，欢迎给个一箭三连，有什么疑问或想看的内容也可以在评论区进行留言。最后祝各位玩的愉快，我是段峰，我们下期再见，拜拜！

谷歌最新开源的大模型 demo four 据说很强，在综合能力上甚至超越了二十倍规模的开源模型。 今天教大家如何快速部署在本地，以及分享一下在 mac mini 上的实际体验感受，具体感受什么样？大家看视频吧。首先打开欧拉玛官网，下载它的应用程序， 打开应用程序，我们看一下他目前支持的一些免费的开源模型，还没有 demo， 所以 我们需要去他的官网再去下载下载到本地。那么这里呢，有很多不同的型号 可以看一下，它有很多不同参数的型号，有满配的，还有一些轻量版的。那因为我这个是 mac mini m 四十六 g 版本，所以我们就选择它系统默认推荐的这个九点六 g 的 好，只需要复制这个指令，然后打开终端运行，它就会自动去下载 这里下载了。那么我们先测试一下， 测试一下他的回复速度，因为是第一次响应，所以速度会有点慢，然后我们打开活动监视器，看一下他占据内存的情况， 这个模型本身就有实际系统走内存差不多也跑满了，这里他已经有回应了，我继续再测试一条， 第二次响应速度要比第一次快很多， 我叫 jam 四，我是一个由谷歌 deepmind 开发的。 ok， 现在我们打开欧了吗？然后去加载一下，这里要重启一下这个程序，然后再看模型选择，里面 最下面就已经有了已经安装好的，现在我们把这个模型对接到本地的小龙虾，只需要复制这个指令，打开终端，在终端里面运行，它就自动会加载好， 这里有不同的模型选择，都是他支持的一些免费的大模型，我们选择 demo 让他去运行。 ok， 这里已经加载好了，测试一下他的响应速度。 这里我是放了八倍速了，说实话，因为实在是太慢了，他平均回复一个问题的速度差不多要两分钟， 非常非常慢。我本来想在这个小龙虾里面测试一下他的执行任务的能力，但是这个速度的话确实没有办法， 但是它有个好处啊，如果你有低血压的话，你就可以用它。我是动物城朱迪警官，你好吗？我过得还好，不错，谢谢。这里我甚至尝试开启快速模式， 但是实际的感受没什么变化，就还是那么慢， 所以只能放弃在这里面做测试了。那么我们还是回到欧乐玛，在这个软件里面测试一下这个模型本来的能力。这里给他放两张图，让他识别一下图先， 一个是标格，一个是周杰伦，看一下他能不能准确的识别。 这里我也是开了倍速的啊，但是这里的速度要比小龙虾里面快很多， 我给他给出的答案是，图二是陈坤，图一是一名中国艺人， 看来这个版本的模型识图能力还是有点差。接下来测试一道经典的陷阱题啊，这个对大模型来讲是一道陷阱题，很多大模型都倒在了这道题上面， 那么他给的建议是走路去，最后测试一下他的复杂推理能力， 这道题是我让 gbt 五点四给我出的一道推理题。 abc 三人中恰好有一人是骗子，永远说假话，另外两人永远说真话。他们各自说了一句话， a 说 b 是 骗子， b 说 c 是 骗子， c 说 a 和 b 至少有一个是骗子， 请问谁是骗子？给出答案，并且给出完整的推理过程。好，他给出的推理过程和答案我跟 gpt 五点四给的标准答案对比了一下，是一样的， 所以它的复杂推理能力还是可以的。 ok， 总结一下实际体验感受啊，你如果是 mac mini m 四十六 g 版本，虽然能运行，但是它会把你的内存拉满，就是你的电脑会一直处于满负荷的状态，而且响应速度也很慢，所以使用感受是很差的。 当然，如果你的电脑配置足够高的话，你是可以去尝试部署在本地的，因为它的响应速度肯定要比我这个要快很多。而且你还可以尝试去部署它的满配版，比如三十 e b 那 个版本， 能力应该是要比这个强不少。

谷歌终于坐不住了，正式卷开源市场， jm 四的效果到底如何呢？ jm 四的发布啊，真的有可能让我们实现头很自由。这期视频呢，老张给大家简要介绍一下 jm 四怎么安装到本地，以及如何搭配到我们的 open klo 大 龙虾上， 附带所有的安装步骤啊，大家可以一起来体验一下。后续呢，老张也会根据测评效果给大家接着发视频，这期是我们完整的部署流程，老张重点给大家简单聊一下，就是为什么 jm 四的发布啊，会让大家感觉谷歌真的开始卷起来了呢？ 首先第一点，他和目前谷歌的 jimmy 三用的是相同的技术基座啊，所以说他的能力是毋庸置疑的。第二点就是商业自由，你直接部署下来做什么都是可以的，都是允许的。然后第三个就是支持多模态，无论是文本、图像甚至小规模的视频音频， 他都可以直接支持。第四点就是结合前段时间爆火的 open klo， 他 可以直接在本地对接 open klo 以及对接 klo 的 code， 实现本地的偷根无线化。这是老张给大家总结的四点，为什么詹姆斯的发布会让大家感觉，哎，可能真的要进入到一个新的纪元， 然后呢，他所发布的这四款模型呢？老张给大家做了一张图片啊，大家可以到时候把它截下来。第一个模型一二 b 的， 他本身是用于手机或者边缘设备八 g 显存， 然后最高端的三十一 b， 他 所对应的旗舰版本呢，是对应的是二十四 g 加，所以大家根据你的需求来进行对应的模型选择。老张这次视频呢给大家来看一下三十一 b 的 这款模型的安装， 然后关于本地的安装部署啊，其实非常简单，任何开源模型，其实我们只需要让他和欧拉玛就是那个小羊驼结合到一起就可以了，然后找到你符合要求的版本。安装成功之后啊，欧拉玛现在已经有了一个完整的应用端了，所以大家可以直接在这个位置和他进行对话交流。 那我们想要下载 jm 四到你本地的电脑上，我们可以使用它的官方指令，会告诉我们直接怎么样去进行 jm 四的对应安装，像老张想安这个三十一 b 的 对吧？我们就把它拿过来， 把它直接这有一个 c l i 命令行安装方式，把这个东西直接复制在你的开始菜单中，单机右键选择运行输入 cmd， 直接把刚才指令粘贴过来，这儿的时间会很长，因为它有二十个 g 的 大小，我们直接稍作等待 安装成功之后，我们也可以直接回到它的客户端中，在模型选项上找到我们安装好的詹姆斯冒号三十一币， 然后可以直接进行对话。老张他处理一个较为复杂的提示词，我们让他看一下当前显存的内存消耗， 咱们拿这个 ai 慢距的提示词来测试啊，这个提示词非常的长，我们看一下他读取提示词的能力，以及他的这个显卡的性能消耗，我们看一下啊，这个显存直接拉满的，达到了百分之九十四的占比， 而且这个响应速度还是非常快的，只需十一点七秒啊，就把整体的业务流程给我们直接补齐了，而且呢按照需求给我们进行了对应的提问，要什么样的慢距效果，所以说以目前的测试反应来看呢，他的这个响应速度起码要比之前的很多大模型要好的多， 所以接下来我们自己来尝试一下对话类的工具，可能大家都不是很需要的，我们能不能把它接入到我们的 open clone， 丢到我们的龙虾里，让它们俩来进行联动的。然后这期视频呢，老张顺便给大家提一下，就是最新版的 open clone 的 部署流程 啊，咱们可以快速的去过一下一些重点的细节，因为之前老张发过很多期的部署视频一块的呢，因为它本身啊， wsl 它是相当于在 windows 系统上安装一个 linux 的 独立系统， 这样的话呢，就直接相当于在你电脑上安装了一个独立的存储空间，它所谓叫做沙盒安全，而且运行起来呢是不会有任何的兼容性的对应问题的，因为 windows 中啊，它的权限呐，路径等经常会报错。所以说我们这 期视频重点教大家怎么用 wsl 进行 win opencl 的 部署安装，这样的话， windows 和 wsl 的 安装您都了解之后之后学起来就非常方便了。 然后接下来呢，老张给大家简单的介绍一下在 wsl 中如何安装我们的 openclaw， 因为之前呢，咱们介绍过太多次了，很多兄弟留言说老张就别介绍怎么安装了，然后我们就给大家简单说一下注意事 项。首先第一呢，你想在 wsl 上安装 openclaw 的 话，第一点你得先在你的 windows 系统下把 wsl 安装一下，当然很多电脑老张发现其实都是自带的， 怎么检查是否自带呢？咱们可以直接输入 wsl 空格杠杠威森，如果弹出定的版本号，证明 wsl 电脑已经安装了，如果没有弹出的话，使用安装指令 wsl 空格 insert 直接安装即可。然后紧接着按照老张给你提供的指令复制粘贴就可以了。先安装你的优班图， 安装之后进行一下更新。安装完优班图之后啊，在这选择这个倒三角，找到优班图系统，就可以直接进入到你的优班图系统当中。 在你安装过程中啊，它会让你设置一个用户名和密码，到时候可能需要做一步密码验证。在优班图系统中，注意是优班图系统中运行这些环境指令，分别安装 python 三，安装一个压缩包工具，方便安装一个 node 点 ps， 然后再安装一个 get 工具。 如果说为了检测每一步安装是否成功的话，你可以分别输入，比如 note 杠 v、 npm 杠 v， 包括 get 杠 v， 在 这检测我们对应的这个版本。如果都能弹出版本号，证明你三项安装都是成功的，这是配置 openclo 的 基本的内容要求。 然后紧接着我们把基本环境配置好的兄弟，你还需要在这个位置安装一下这个欧拉玛。 这老张要重点说一下，说老张我不在本地都已经下载好欧拉玛了吗？为什么在优班图里还需要再配置一下？其实我们优班图中是可以调用本地的欧拉玛的，但是很多兄弟在调用过程中分别给老张留言说说调用时无论是 ip 地址找不到，还是 ip 的 动态变化，导致每次都需要重新连接，重新配置。 所以说最简单的方式就是把欧拉玛在你的优班图系统中再次的安装一遍。其实安装非常简单，只需要把第一步的安装指令复制过去，直接在这个位置直接粘贴即可。安装成功的检测方式很简单，你就输入欧拉玛， 如果他不报错还给我们对应的选项，是咱们是进行对话呀，还是怎么样的证明你的安装就是成功的？ ctrl c 直接退出。 所以说欧拉玛安装之后，紧接着就是把我们的模型在当前的优班图中跑起来。老张刚才给大家测试的是 jm 四三十一 b 模型，我们直接输入指令欧拉玛空格 run， 然后你的模型效果直接回车，第一次时他会直接进行对应的模型下载。如果说你现在只想用 open klo 来调用欧拉玛的这个占四的话，可以在我们的本地电脑上把之前咱们那个桌面端给他 删掉，如果说你不你想两端都使用的话，就可以直接在这个位置进行使用了，然后发一个你好看一下响应速度， 嗯，响应速度是非常快的，所以接下来我们把这个家伙欧拉玛的詹姆士直接部署给我们的 openclo， 在 这怎么中止对话，摁一下 ctrl c， 再摁一下 ctrl d 啊，就可以直接进行中止对话了啊，所以说大家可以直接的把它退出来， 退出来之后我们在这儿部署一下 openclo。 关于 openclo 的 安装呢，官网推荐是使用 c o r l 这种安装方法，但是老张发现很多兄弟在使用这种安装方式时呢， 出现了这个网络问题，导致下载出现卡顿，如果说 c u i l 的 方法报错的话，直接使用 n p m 安装也是完全可以的，安装完之后直接输入 open klo 空格杠 v 来输出最新的 open klo 的 对应版本啊，这就是老张跟大家说的一些建议啊，大家按照这个要求去做就行了。 然后接下来我们进入到配置，直接是直接输入它的配置指令回车，选择 yes， 然后选择快速开始就可以，我们直接配置一下模型， 然后选择更新，这选择谁呢？选择这个欧拉玛啊，然后选择默认的这个 ul， 选择本地模型，让他去给我找一下咱们本地有哪些模型，稍作等待 好，选择当前的这个模型，咱们四三十一币，然后配置我们的聊天软件啊，这个老张之前讲过太多太多次了，现在呢，他又支持了很多，包括 qq 之类的，大家有需要的话可以按照之前老张的教程再来一遍，我们先跳过 打开之后啊，就可以直接对话。但是如果说善于观察的兄弟们也发现了，老张呢把这个使用模型呢换成了这个一四 b 的 模型，不是那个三十一 b 的， 因为三十一 b 呢，老张在测试的时候也好，或者在一些使用时候也好，他有的时候会出现这个连接超时的问题，也是 oppo klo 更新到最新版本出现了一个能启动问题， 这个呢，老张现在还没有特别好的解决方案，所以说我先用一次必得给大家进行演示，发一个，你好，我们来测试一下他的响应速度啊，还是比较快的。 然后接下来呢，我们再把之前的那个慢句的提示词发送过来，我们来看一下他能不能更好的帮我们去进行慢句提示词的对应理解，以及对应的相关反馈。 嗯，其实我们看到啊，他反馈的这个结果呢，和三十一 b 相比啊，真的是有一定差距的，但是呢，确实也是另一方面实现了我们所谓的叫偷根自由。 大家呢也可以后续啊，去测试一下怎么让本地如果你的显卡够用的话，把这个大模型给它跑起来。然后老张呢也会及时给大家更新，无论是在评论区中还是视频中教大家如何使用。我是程学老张，定期分享 ai 好 用知识，希望大家多多关注。

公主，你现在看到的就是谷歌最强的开源模型加码四，可以看图，能听音频，也有不错的推理机制，最重要的是完全免费，给我几分钟，从零开始，将加码四部署在自己的电脑上。我们直接开始 先花一分钟和大家聊一下贾马四是什么？它是谷歌刚发布的开源 ai 模型，跟商业版的怎么奈同根同源，你可以理解为谷歌把自家最强的 ai 技术浓缩成了一个免费的版本，直接送给你用。 那么它好在哪里呢？三个点。第一，多模态，不只是聊天机器人，你可以发图片让他看，发音频给他听，还能写代码。 我们可以看看这张表格，横轴是模型的参数体量，而纵轴就是性能表现。贾马四以满血版的性能表现和千万的三百九十七 b 的 模型能力基本持平，关键在于它的体量只有千万的十分之一，这真的非常夸张。 第二，完全免费，不用充会员，不按 token 收费，并且可以商用，你可以模改它做成各种有意思的本地模型，拿去做产品也没有任何的问题。第三，隐私安全，因为跑在你自己的电脑上，所有的数据都不会出，你的电脑拿它处理合同，财务，私人物件，不用去担心泄露。 ok， 我 们直接动手。你现在只需要打开一个浏览器，然后把它放到全屏上，直接官网上搜索欧拉玛点 com 啊，然后这个东西就出来了。然后你只要点击整个画面的一个右上角 download， 看到没有？然后你可以选择你是 mac os 系统还是 linux 还是 windows， 我是 mac os， 那 你就直接点击这个 download from mac os， 然后我们就可以看到这个画面上的右上角应该是会有个下载的链接， 然后等它下载好就可以了，因为我这边其实已经安装好了吗？那么我这边的最终的一个输出效果的话，大概是在这里。你们下载完了之后，打开你们的桌面上的欧拉玛，你们看到的应该是现在这样子的一个画面，那就说明你已经安装成功。 佳马仕一共有四个版本，你可以根据你的电脑配置进行模型的选择，模型的能力越强，所需要的配置就越高。对于内存小于三十二 g 的 玩家，我建议大家直接安装一四 b， 三十二 g 及其以上，可以试试看二十六 b 和三十一 b 的 参数量， 其实这两者模型的能力大通小异，如果你是为了极致的精度，可以选择三十一 b， 但是在我看来，二十六 b 呢，其实是一个非常甜点的位置，达到了速度和精度的一个平衡。如果你不知道你的电脑内存是多少，这里针对 mac 用户，你可以选择终端输入这行命令。 而 windows 用户你可以点击 win 加 r， 点击回车，召唤出来你的终端以后，然后再输入这个命令，也可以显示出你的内存。选择好对应的模型，我们只需要打开终端，和刚刚一样的步骤，根据模型输入指令直接回车即可。等待模型下载好，打开你的 oala， 选择模型就可以开始了。 ok， 我 们打开我们欧曼的软件，你点击这里，然后往下滑，你就可以看到你刚刚已经安装好的这个佳马仕。我们来问他一个很有逻，就是说很有那个逻辑陷阱的一个问题，就是我今天要去洗车，但是只有一百米，你觉得我是走路去还是开车去？ ok， 我 们来看一下他的一个答复是怎么样子。 这是一个非常有意思的一个逻辑陷阱题，我们可以从不同的维度去分析。逻辑层面上来说，必须开车去， ok， 这一点已经很棒了啊。 那如果说是从脑筋急转弯角度上来说，他说如果你走路去，那么你是在散步，而不是在洗车。哦，也就是说他分为了三个维度，一个是脑筋急转弯，一个是实用主义层面，还有个就是逻辑层面。我们来看一下他这个佳马仕的这个逻辑能力。哎，你还真别说这小参数，但他的表现还是不错的。 那么 jamas 它的一个很大的优点就在于它其实是支持这个多模态的。我们来不妨给他上传张图片，我们来看一下。 ok， 那 么我们上传一张什么图片呢？哎，上传张这个图片，你们看怎么样啊？就是这是一朵花，然后有个太阳，有一本书，我们来让他看看。我说，啊，描述一下， 描述一下这个图片，我们来看看他的多模态识别能力怎么样？说实话，本地具有多模态识别能力的模型，而且是能够你自己去模改的，其实并不是很多。我们来看一下。 ok， 一， jeff 二，然后 jeff 三，给了几个他看到的一些画面。好，我看他现在在思考和输出。这张画面充满了诗意，唯美且带一丝忧伤。 画面主体是一本翻开的书籍。哎，确实是对的，背景与中景是一个画面，然后呢，躺着一只洁白的玫瑰，然后背景是有一个夕阳，散发出这个温暖的金橙色光芒，哎呦，很不错，你们发现没有，是不是很棒？就是说他好像 表达的还是很到位的，但是因为呃，我其实本来还是想测一下这个关于音频识别和这个视频识别的，因为这个佳马仕它也是支持视频识别的， 但是因为欧拉玛官方不太支持，所以大家可以自己去谷歌 as do do 上面去玩一玩。所以总的来说，其实通过这么两个比较简单的测试，它当然不够严谨，而我觉得感受来说的话，这个香奈儿丝还是 真的是能够在本地帮我们处理一些比较复杂的一些任务的，就是在文字层面以及去多模态识别能力上来说，是一个比较抗打的模型。 看到这里相信你一定会明白， olama 本身是一个模型管理器，你当然也可以不用贾马四，你可以选择开源的 deep stick， 千问等等，其他的开源模型还是同样的命令，一键配置就可以了。 本地捕鼠的最大优点就是保护你的隐私，模型的使用不会受到任何的限制，同时也可以支持模型的微调，让它更合你的口味。下期我打算教大家小白如何从零到一，微调自己的本地模型，感兴趣的可以点个关注，我们下期再见。

大家好，本期内容我来分享如何在本地部署谷歌新开源的多模态 ai 模型代码四，我会分享命令行和格式化界面两种安装方案，零基础也能轻松搞定。 最后我还会教你如何修改部署的路径，彻底解决大模型占用 c 盘的问题。本地部署的优势就是你的数据可以完全保存在自己的电脑上，隐私安全有保障，而且支持模型微调， 可以打造专属的 ai 助手。但是他也是有缺点的，就是我们需要稍微懂一些技术，还有就是硬件的支撑，如果电脑配置高，自己可以部署折腾一下。有了本期视频，就算你不懂技术，跟着视频操作也可以部署成功。 本期演示我只分享入门版本，主要就是参考部署的方法和流程。接下来我手把手带大家用欧拉玛一键部署。 首先我们先来了解一下 jam 四到底是什么，它是谷歌新发布的开源多模态的 ai 模型，与 jimmy nay 是 同源的。 简单来说，谷歌就是把自家的 ai 技术打包成了一个免费开源的版本，让每个人都能用上。它的能力是非常全面的，支持文本交互、图像识别、音频处理，还能生成代码， 基本上覆盖了所有的 ai 应用场景。下面我们再来看一下它的核心优势。核心优势它有三个，第一个就是多模态能力，文本、图像、音频代码，一个模型全部搞定。 第二个就是完全免费，它没有会员订阅，没有暗次收费，可以随便的去使用，甚至用它去开发商业化的产品。第三个就是比较重要的隐私安全保障，本地部署模式下，所有的数据处理都在自己的设备上完成， 敏感信息不会上传到云端，这是三大核心优势，就是在我们安装之前，需要我们了解一下这个安装环境。首先系统兼容性 demo， 四是支持 mac os、 linux、 windows 三大主流操作系统，基本上覆盖了绝大多数的用户。 然后就是内存要求，如果你的电脑小于三十二 gb， 推荐安装四 b 版本，自己安装体验折腾一下就可以。如果你的内存达到或超过了三十二 gb， 那 就可以选择二十六 g 或三十一 g 的 版本。 在这里有一个小提醒，就是如果是 mac 电脑 m 系列的芯片，它的显存和内存是合二为一的，大家直接看内存就可以。如果大家不是 mac 电脑，比如 windows 或者 linux， 那 么就优先看显存，显存不够再看内存，这是关于这个配置的查看。像这个本地部署也非常简单，仅需两个步骤即可完成。第一个就是安装欧拉玛，这个欧拉玛就可以理解为是本地大模型的一个容器， 它是装大模型的，有了它才可以运行。第二步就是我们容器安装好之后，我们需要给它把模型放进去，就是部署模型，两个步骤即可搞定。下面我们直接进入实操环节，我们来一起看一下部署的全部流程。 在这里第一步我们就先要有这个欧拉玛，他是一个大模型的容器，就是我们打开之后选择右上角的 download， 这时候我们就需要选择匹配自己系统的版本，在这里我这是 windows， 然后我们选择 download for windows， 在这里选择 download for windows 之后就会弹出窗口，我们选择路径直接保存就可以，当下载好之后，然后我们就安装即可，安装好之后打开就是这样的主界面，这个是我之前安装的版本，部署着一个一点五 b 的 zip， 然后下一步就需要我们去选择大模型，我们还来到刚刚乌拉玛的这个界面，在这里我们选择左上角的 models， 然 然后在这里我们可以看到该马四，然后我们选择进来，它提供了好多个版本，在这里我就选择一个入门的版本，主要就是演示安装的流程，比如我们选择 e 二 b， 然后我们选择，这时候我们就看到了这个安装命令，选择右边的这个两个方框，然后选择 copy， 然后下一步 我们就按键盘上的 windows 加 r 键，这时候出现运行窗口，然后在这里面输入 cmd， 然后直接回车， 回车之后就出现了这个命令窗口，然后我们刚刚复制了直接鼠标的右键，可以看一下，这个命令就粘贴过来了，然后我们直接 回车好了，这时候它就开始部署到本地了，在这里我们需要等待一段时间，好可以看一下出现了 success 这个提示，就证明安装成功了。现在我们在这里可以直接和它对话，比如我们输入你好当前什么模型，然后我们发送 可以看一下，他现在回复我们了，我是一个大语言模型，我叫 jama 四，这时候我们就在本地已经部署成功了， 然后我们再回到欧拉玛的客户端，在这里在这个对话窗口右下角这里，这里可以选择模型，然后我们找到刚刚部署到本地的 jama 模型好了，这时候就切换好了。同样在这里我们也可以直接和他对话，比如我们输入你好，然后发送， 这时候他就回复我们了，你好，很高兴和你交流，请问有什么帮助到你的？到这里我们就已经部署成功了。前面我们分享的是使用命令行 c l i 模式去部署，其实还有一个简变的方法， 在这里我们还可以选择模型后面对应的这个按钮，也是可以直接部署的，这个是非常方便的。好，最后我再分享一个大家比较关心的问题，就是我如何设置这个本地模型的一个部署路径， 在这里我们也不用去改环境变量了，这个客户端是直接支持的，我们选择左上角的设置，然后在这里选择这个 model location， 在 这里我们就可以去设置模型的一个保存路径，在这里大家自己设置就可以，是非常方便的。 好，下面我这里演示的是上传了一张图片，就让他识别这张图片，我们一起来看一下他给我们的结果，好了可以看一下，我们给了他一张图片，我们问他这是张什么图片，他给我们的回复， 这是一张符号或者是图标，然后他还分析了主要包含的元素，还有用途预测等等，能够精准的识别内容，并生成详细的描述， 表现还是可以的。好了，现在我们本地部署成功了，然后刚刚我们也做了一个功能测试，第一个就是我们和他对话，就是文字处理，第二个测试的就是这个图像识别，他也是可以精准识别的， 他虽然是多模态的，但是目前我们用的这个容器不支持多模态的输入，我们暂未测试音频和视频的识别。好，最后我再补充两个细节，就是第一个欧拉玛的拓展性他是非常强的，除了可以部署这个 demo 四， 还支持比如通用签问或者是 deepsafe 等众多的开源模型，部署方法也是完全一样的，一条命令就能去部署。第二个就是本地部署的真正价值不仅仅是隐私保护，更重要的是支持模型微调， 可以用自己的数据去训练模型，打造一个完全专属的 ai 助手。好了，这就是我们本地部署的所有内容，大家感兴趣的可以自己折腾一下，探索更多的玩法。好了，我们本期内容分享就到这里，可以留下你的想法，我们下期再见。

杰玛斯完全可以直接部署在手机使用了，这里可以看到有多种使用场景。今天的测试环境，手机是飞行模式，完全断网。直接看看他在手机本地的运行表现。 发一段话过去，大家可以直观感受一下这个回复速度。这里我没有做任何剪辑加速，体感非常流畅。然后是多模态识别，随手拍一张照片， 它解析图片的速度很快，而且能把画面里的细节描述得比较准确。在断网的情况下，这个速度和理解度都很 ok。 再看它对系统指令的理解，我语音让它在地图中找到香港， 它能瞬间识别意图，并自动拉起地图。 a p p。 虽然因为没网，地图包刷不出来，但调用底层接口这个动作它是完成了的。 在游戏场景下，现在也可以用自然语言交互了。他完全理解了，并帮我完成了播种，这说明模型已经能跟应用逻辑层挂钩了。最后看下这个 prompt lab， 像改写语气、文本总结或者写代码，这些任务全都能在本地临县完成，其他功能等你们去测试。

大家好，我是根谷 open cloud 的 追马四欧拉玛全新的本地模型体验来了。欧拉玛最新更新的版本是 v 二点零啊，已经支持追马四，搭配 open cloud， 响应更流畅，速度更快，回车记出结果，支持常文本做任务处理，本地 i i 体验相当的不错， 要想流畅的体验，快去试试升级吧。首先教大家如何去升级吧，当你用这个积马四的话，你首先的显卡应该是十六 gb 上的啊，最好能够到三十六 gb 啊，我的电脑是一个一百二十八 g 的 全存和内存一体化的，是吧， m 四 max 的 最强电脑，所以说我运行这个东西是， 呃，我运行这个金马四二十六币了，这个模型是没任何压力的啊，欧拉玛兔啊，一定要用这个命令啊，金买四二十六币啊，你回车 他默认的会把它下载到你这个，因为我是下完了是吧，当然如果你下载很慢的话呀，你应该去做的有两个操作，就是应该是这么做的，应该是做那个去开他代理啊，这个代理应该是这么做啊，就是去去这么做 开这个代理啊，或者是你去那个把这个镜像设置为那个，设置为一层摩摩搭论坛的那个代理啊， 就是把它带代理到国内啊，如果你能够魔法上网的话，就不需要开代理了，因为我这边的网速是比较快，大概是下载了接近接近两个小时，一个半小时啊，大概是五到六兆每秒，他是七 gb 的， 他会下载哪个目录呢？你可以看一下这个目录啊，欧拉玛这个目录，呃， 首先它的模型会下载到这里，下载你其实不用管了，你可以打开你的欧拉玛，现在欧拉玛其实它又升级了一个小版本啊，就是零点零点二 两百啊，零点二点，零点二点零点二啊，这是今天最新版本，大家建议大家升级最新的版本。那我这里下载了两个模型比较好用，一个是 gbt 的， 一个是 o s s 二十 b， 一个是这个积满四，最新的二十六 b。 那 我发现这两个模型都非常快啊，你下完了以后，你一定要用欧拉玛浪琴去启动欧拉玛 浪去，他去启动这个欧风 club， 启动完了以后我这已经是启动了，启动了以后你打开这个小小龙虾的页面来，我给他做一道数学题目吧。啊，这个他不知道他能不能识别啊，哎，你看非常快吧，秒开吧，是吧？ 然后他这个地方其实有错误啊，就是我应该去截个图给，不知道能不能截图过去啊？就是你，哎，就是就是就是，求解，这个一元二次方程， 不知道他能不能识别。这个啊，他已经识别出来了啊，这个是啊，我不知道这个结果是不是对的。 x 平方减五， x 加六啊，应该是没，应该是没问题的，对吧？一个是二，一个是三，对吧？对，非常快，然后这个数学题其实更难一些，就是这个勾股定力的这个，一个这个这个 啊，你看看一下，他应该是应该是很快的，一秒、两秒，两秒就出来了，这个比之前是快很多，我记得考了应该是三月 二十八号那个版本嘛，大概是一周前的欧拉玛这个版本和 opencall 的 最新版本啊，它大概是这样一个难度的速写题，要要五到八秒钟，如果是过年的那会大概是要一分多钟，所以说现在是非常快啊，非常快啊，就是我感觉比那个 api 都要快，所以大家尽可能去试一试啊。用它进行养虾的话， 那比如说，比如说我是谁啊？对吧？他应该很快就能够找到十二月份，是吧？年龄怎么怎么样？我觉得非常快，这个建议大家赶紧去升级吧。

hello， 大家好，我是 ken， 今天早上刚刚打开手机，我就兴奋的睡不着了。 google 刚刚发布了伽马四，一个可以本地部署的大模型，我的第一个念头是省钱了， 如果把它接入 openclaw， 从此在本地生产 token， 那 是不是就可以不用再被云端 ipi 一 点一点计废了呢？然后我花了一整天的时间来验证这个想法，结论有点出乎意料。先听我说完， 我在本地部署的是二十六 b 混合专家模型，二十六 b 代表着他拥有二百六十亿的参数。 混合专家模型的意思是，他不会一次性把所有的参数都用上，而是根据你的指令调动一小部分的专家来进行回答。这样的好处是推理的成本更低，回答的速度也更快。 这个版本在二十六 g 内存的 m 五芯片 macbook 上刚好能跑。这里 jam 四的几个版本呢？我也简单的跟大家分享一下。最轻量的是 e 二 b， 一个二十亿参数的模型，它在市面上大部分的设备上都可以运行。 那么 e 四 b 呢，是一个四十亿模型，运行它呢至少需要有十六 gb 的 内存。蓝血版是三十一 b， 拥有三百一十亿的参数能力最强，但是目前我手头的设备呢，都没有办法运行。目测 如果说要跑三十一 b 的 模型的话，至少需要三十六 g 的 内存。以我这一个月以来把所有的大模型接入到 openclaw 的 体感来看呢，二十六 b 版本我再应用下来，我认为它称日常工作是完全没有问题的。 截止到这里，一切都让我很兴奋。在 macbook 本地上跑通以后，我迫不及待的把它接入了 openclaw。 和我之前用其他大模型接入的体验不同， jam 四在接入以后没有那个互相了解定义角色的初识化环节，不过正常对话是没有问题的。那么问题来了，他能做些什么？说实话，就是个聊天机器人， 连在桌面创建一个 word 文档都做不到，更别谈生产力了。如果只把它看作是一个聊天机器人的话，那么在欧莱玛中直接运行反而比嵌入到 open cloud 中要更快，所以呢，还不如不用。 然后我掏出了我二零一七年的 windows 老本，这台机器呢，有十六 g 内存，按照 ai 的 建议，分别部署了 e 二 b 和 e 四 b 两个版本的模型。单独跑模型的话， e 四 b 这个四十亿参数的版本呢，每个回答要等待时间在十秒以上。那么 e 二 b 这个二十亿参数的小轻量级版本呢？如果是处理简单问题，基本上可以做到秒问秒答。 但当我把他们接入到 openclaw 之后呢，连收到两个字都没有办法回复，不管哪个版本，通通卡死。所以结论很明确，内存不够的设备不要尝试把 jam 四接入到 openclaw， 硬件是硬门槛，绕不过去。 总结一下今天的折腾，二十六 g 内存的 macbook 可以 本地运行，二十六 b 混合专家模型接入 openclaw 也能正常对话，但完全没有超出聊天机器人的额外生产力。 十六 g 内存的 windows 老本呢，接入 openclaw 可以 说是失败的，那么如果在本地运行呢？一二 b 和一四 b 两个版本都可以作为聊天问答机器人来进行本地使用。 我的判断是，如果内存能够达到三十六 g 以上，能够完整的跑下来二十六 b 混合专家模型，那么也许真的可以变为生产力。但是限阶段大多数人的设备都没有达到这个门槛。 本地部署不是不值得探索，但是要先看看自己的硬件设备有没有达到那个门槛，再决定要不要去折腾，不然的话结果可能会很打消你的积极性。 我是 ken， 专注用 ai 做可持续相关工作流的自动化。如果你对 ai 工具和自然语言编程感兴趣，请关注我，我们下期见。

今天给大家带来手机本地部署大模型，无需网络支持 ios， 安卓无需特殊网络环境。当然了，今天部署的是谷歌最新发布的模型，小模型的性能大家都懂得，娃娃可以正当生产力，还需要等待发展一段时间，和电脑的本地部署是一个道理。 那么我们先进入 ios 的 教程其实非常非常简单。首先先进 app store 下载如图的应用 google ai edge gallery， 安装好之后，我们直接打开进入 ai 对 话， 会发现我们首次运行的时候会让你下载模型，因为我手上的这台设备是 iphone 十五 plus， 因此我选择下载这个折中的它推荐的二点五 g 的 模型， 等待它下载完成之后，我们可以和它对话看看。这个时候我进入飞行模式，把网络给关掉，它是完全本机运行的，会发现我们已经可以和它对话了，只不过在运行的过程中，它可能有点微微发热。当然了，小模型的智商就是这样，和它进行一些简单的对话是可以的。 那么接下来我们进入安卓的部分，然后我拿来做演示的这台手机是荣耀八零二， 在国产的安卓机上，我们有两种安装方式，第一是通过 apk， 也就是安装包进行下载，第二种方式就是你需要一些手段，对吧？上网的手段，然后进谷歌商店里进行下载，下载好打开之后和 ios 里的使用是一样的，我们首次进入的时候，点击下载模型，同样还是这个二点五 g 的， 然后就可以和他进行对话，我们可以问两个问题来看看效果，嗯，就比如说我离加油站五百米，我是应该开车去还是走路去看看他怎么回答？ 最后我们就会发现没有说必须开车去，对吧？去加油站。所以说小模型的这个智商这一块肯定是和 ap 还远远比不了， 但是这也代表着这给我们一种可能性，随着科技的发展，模型的发展以及手机硬件性能的发展，拥有一台纯本地部署的 ai 助手将成为可能。那我们今天教程就到这里，非常简单，我们下期再见。

今天我将跟着大家一起本地步数加码四，接入 open core， 彻底告别托肯焦虑，接下来跟着我操作。 这里我们先进入 elama 的 官方网站，进入官方网站过后，我们直接点右上角的 download 下载，我们这里是 windows 系统，选择下载 for windows， 点击这里， 这里就等它下载好。下载好之后，我们这里就直接双击运行，这是它的安装界面，我们直接点安装这里，等它默认安装好。 好了，这里 elama 就 安装好了。然后我们到这个地方 elama 的 官方网站，选择 models， 这个地方选择 command 四， 然后这里我们选择我们的模型，这个模型的选择我们根据我们的显卡显存大小来选择。我们这边看一下我们的显存是多少， 这里看到我使用的是四零七零的显卡，显存是十二 g b 的 显存，十二 g b 的 显存的情况下，我们可以选择这个九点六 g 的 模型，这个一四 b， 这个我们直接点进去，选择一四 b。 点击进去过后，我们直接复制这条命令，然后运行一个 cmd 窗口， 直接粘贴这里，它就会欧拉玛会自动地给我们安装这个模型。呃，这里等的时间是比较长的， 这里模型已经下载下来，并且运行起来了，我们向它发送一条消息，试一下你是谁， 反应还是可以的，这就跟了我们信息回答了。好了，在这里过后呢，我们就可以把这个窗口关闭掉， 关闭掉过后，在 lama 这个地方我们去选择这个模型，在这个位置也就可以和它进行通话了。 比如我们问他一句，你可以帮我做些什么， 他已经帮我回答了，在这里呢，我们因为我们是在本地虚拟机上安装的，所以而且我们为了方便以后可以在其他计算机上也可以调用，我们在这地方设置这个位置 点，这个位置点设置这个允许在网络上运行，把它开起来点了就可以了。 好了，我们下一步就开始配在 open core 上配置啊，在这里我们进入虚拟机之后，我已经执行了 npm i， 刚接 open core 全曲，安装 open core 的， 我们这里可以执行一下 mini， 看下我们安装的版本。 openclock 杠 v 是 安装的最新版本二零二六点四点五版本，然后我们执行 openclock on， 在 这里我们进行一个调试，这个地方我们 yes， 这里选择快速，这个地方它是让我们选择大模型，呃，大模型它这里有，我们选择本地的这个位置点确定 这里我们直接就选择本地的，不要选云，上面是带云端的，就选择本地模型。 这地方让我们选择模型，我们选择这个，这就是我们刚刚这个就是我们刚刚下载好的模型，就是 直接回车。等一下， 这里让我们选择通讯工具，我们这直接跳过，暂时不管这个，直接跳过。 呃， scale， 我 们这边也选择否先进行最简单的安装 网关，我们就直接重启， 选择 open ray web ui 好 了，我们看一下 open core 运行起来了没有。 open core getaway style sta 好了，已经运营起来了，我们进去看一下， 这边需要 token， 我 去看一下 token 是 多少，关于 token 的 话就是我们，我现在是在虚拟机里面安装的， 我要重新打开看一下，在虚拟机里面安装，我们就直接去通过这条 mini 访问我们的虚拟机， wsl 的 虚拟机访问，然后无斑图选择 home 目录，选择我们的用户， 然后这里选择点 opencloud 这个文件夹，然后这一个 opencloud json 让我们看一下，到 git 里面去，这个地方就是我们的 talking， 复制粘贴下来到这个地方，点连接好了，我们尝试给他发一条消息，你是谁？ 在主位置这个地方，我们可以看到这地方是我的模型。 我再问他一条消息，你现在使用的是什么模型？ 看这里已经是我当前运行的模型 工具，在这里我们就可以看到了，我们现在整个 open call 来使用的是我们本地模型，就不需要去购买 token 了。好，今天内容就这么多，谢谢大家。

如果有人跟你说用本地部署的大模型去养龙虾，可以无限掏坑，非常爽，那么 我想说这个人一定在坑你，他一定没有自己实践过把大龙把这个大模型部署到本地，然后配置到大龙虾里面，然后去跑一下任务啊，我为了实践这个东西，我这个电脑的配置也挺高的，对吧？ 我在 windows 电脑上也试了，我在 mac 电脑上也试了，而且全网我在 b 站上面只刷到一个博主在讲这个事情，讲的跟我实践的结果是一样的，大家可以看一下我给我的电脑里面用，这是一个苹果电脑，用 o m l x 布了模型，布了两个模型，就是现在特别火的谷歌的开源的伽马四，这么四的这个模型就这个 g e m m 四，我也不知道怎么发音啊。伽马四我布了两个参数，一个是三十一 b， 一个是二十六 b 都布了，布完了之后呢，你直接在 o m x 里面，我们直接去跟它对话， 我这里如果选上三十一币的话，我这里跟他对话，跟他对话的时候，他的反馈速度其实还可以的，那这个反应速度还能还能跟得上， 对吧？但是他现在第一次有点加载模型的一个感觉啊。那么这个完了之后呢，你如果再用二十六币再去跟他聊天的话，也是一样，他也非常快，我先把它一停啊， 它也非常快，但是这个是在不的这个软件里面，你如果再把它配置到你的龙虾里面去的时候，你就会发现三十一 b 完全就跑不动， 所以呢，我就用二十六 b 去跑了，那么我把二十六 b 的 模型再给我配置到这个 walkabout 之后，当然前面我在 opencloud 里面也配过了，配过了之后跟 walkabout 的 感觉是一模一样的。 我让他跑了一个非常简单的一个任务，我说你在我桌面上的本地龙虾窝里面，对吧？我有一个呃，我想写小说的一个想法，你我我让你帮我把他登记进去，他连这个事情都做不了， 你看我给他说完了之后，他给我建了一堆的文件夹，建了一堆的文件夹，我说我有个想法，我要写一个和我媳妇的二十年青春这个小说，对吧？他给我建了一堆文件夹，如这就我的深刻的一个体验是什么呢？这些小的模型你跟他做做文字性的聊天是可以的，但是你如果说把它配置到 配到这个 i d e 工具里面，或者配置到龙虾里面，让它通过反复的思考，常思考去帮你完成一个工作的话，本地部署的大模型加本地的龙虾，完全想不通， 行不通，除非啊。当然我现在说的前提是就是我们现在布的，我现在电脑已经算是配置还可以，布的二十六 b 的， 三十一 b 的， 它都跑不通，除非你以后你非常豪气，你能把开源的模型全量部署到你电脑上，我觉得是行得通的。 来，我们现在来给他测试一个任务啊，请在桌面帮我创建一个 好老师名字的文件夹，他大概率是能帮我创建出来，对吧？我今天其实也用过，八点 我去做了一些事情，一开始是用别的模型把脚本啥都跑好，跑好了之后我再换成本地的，专门四让他去跑，跑的时候呢，他还是把结果跑不出来，他跑到一半他就不跑了。来，我们来看一下。好，郝老师的名字。这个没有问题啊，帮我创建 一个 tft 文档，用来记录我的灵感， 看他能不能在这里面帮我创建一个 txt 的 文档啊，当然这些文这些任务都比较简单，他能，他能帮你创建，哎，没有呢，哎，你看问题就来了哈，问题就来了，这也是我自己实践出来的一个一个 一个收获啊。你看这里面是没有文档的，来，他说我已经帮你创建了文档，在什么有文件名，优思好与刚什么什么的。这面看我让他，我让他在这个里面帮我创建，他给我创建到这去了，对吧？我也不知道他这个在哪里呢， 对吧？那我再给他说一下，我说的是在桌面上的郝宇刚郝老师名字，对，你看他非常耿直啊。郝老师名字 文件夹大家可以看一下啊，他非常耿直，如果说是别的模型，他肯定会把这个文件夹命名成郝老师，但是呢，在这个里面， 在这里面他是怎么做的？他非常梗，你说郝老师名字，他就叫郝老师名字好， ok， 他 是不是在这个文档里面？好，那我就要继续给他说了，请在你刚才创建的 的文档文档里面帮我记录，我今天吃了十个馒头， 看他能不能把这么简单的一个一个动作完成了啊。其实这个事情呢，大家如果看我的这个文件夹的话，你会发现这个龙虾窝这个文件夹啊， 哎，不是这个，应该是这个本地龙虾窝，我现在在用它写，我想把我之前的经历给记录下来记录下来之后呢大家可以看一下这个故事素材里面这是我配的也是 oppo 八的呀，但是用的是 呃谷歌的五点一的模型啊。不是谷歌那叫那叫智普的五点一的模型。我跟他说完之后人家能理解我的意思我不管说啥他都知道我随便一说他就知道我要记录到我辅导员的这个 记录里面来。只有啊我反正我现在说的这些只有你真的去实践了你才会有体会对吧。帮我记录好了我们来看一下这里面有没有来我今天吃的十个豌豆。还可以啊，还可以再帮我记录我明天要去北京开会 就有的一些简单的任务你让他帮你做行但是你必须非常明确的告诉他在哪里在哪里在哪里他才可以如果说 你的记录不明确的话。哎这个也行啊如果说你的记录不明确的话他也帮你做不了对吧？好，那我再给他来一个难一点的对吧。呃请在桌面 好老师名字这个文件夹里面帮我 创建一个小说 我的五年辅导员生涯的小说的框架要求列出一百张的标题。 好，其实这个任务你交给别的 ai 工具的话手到擒来非常简单的一个任务。因为我用别的测试过了我之前写的时候人家给我写三百张的标题人家都写出来了， 我看他能不能帮我把这个写出来啊。哎，大家看啊我已经忘记创建好了文档的基础框架对吧。为了这一百张标题我建议将这五年分为几个几个阶段处理处理以及什么你让我生成这是一百张的标题吗？大家说这就是一个问题， 如果你是正常的龙虾他就直接帮你写好了，但是你配这种小魔性的啊，他有一个毛病是啥嘞？他总喜欢问你，问你能不能行，可不可以，你给他说可以了，他也不一定帮你做好。想让我开始为你升这一百张标题吗？我给他写个开始，看他能不能帮我去做啊。 这就是他的一个问题，也是我实践过程当中的问题啊。就是总感觉吧说用也能用，但是吧就是没有那么聪明， 反正最后总结下来是啥呢。我建议大家不要去折腾我本地的龙虾，我用本地的模型去养，养不出来的，而且实在是用不成啊实在用不成，而且这个发烫还是挺严重的，我这个电脑现在我手啊，我手放在下面已经非常非常烫了，桌子已经非常非常烫了。 这个还是 macbook pro 还带着风扇的那种啊，他能把这个风扇能给你驱动起来了。 来我们来看一下。 哎，还可以啊，他把一百张的标题给我已经写出来了，这次做的还可以。还行啊还行还行。 呃但是总体来说呢我们看一下他的这个质量啊他的这个质量啊，那些年关于未来的引导，关于未来的期待，关于什么什么关于什么？他和我这个里面人家帮我写的这个标题就差差老鼻子 没有，我把它打开，我看怎么打开呢？ 你看啊，这里的标题处分学生的分量，感受签字时的责任与荣誉，第一次写工作日记啊什么什么的教训啊， 我总觉得人家这个写的质量是会更好一点，我们可以看内心天平的倾斜，逐渐离开的决心，提交申请的那一刻，正式提出申请时的复杂情绪，这是讲的是直接的一个变动，对吧？他比他比这个，他比这个龙虾，这个写的 啊，那些那些什么那些什么那些什么啊，我觉得质量要好的啊，反正我总体感觉下来呢，还是不建议大家再去折腾这些了。也不用说是，哎，我想体验本地的无限算力。我我我 我买一个高配的电脑，我花两三万买个高配电脑，然后我把格玛四三十一 b 一 步步完了之后你会跟我有同样的一个感受，就是用不成。

兄弟们，欧拉玛已经更新好了，杰玛斯的大模型也不朽完成了，一共四个模型，接下来挨个测试一下，所有的测试都是在这个电脑配置下完成的。第一个问题，介绍一下自己， 第二个问题，用李白的风格写一首 诗。 最后一个问题，经典的喜鹊问题 总结一下，四个模型都测了，最快的是一二 b， 最慢的是三十一 b， 四个模型第一次启动都有点慢，后续速度都还可以。 总的来说，回答质量最好的是三十一 b， 包括最后的一个洗车逻辑陷阱也自动识别出来了， 就是我这个配置运行起来实在是太慢太慢了，所以性价比最高的应该是这个二十六 b 模型。回答速度，回答质量都还可以，可以用在部署小龙虾，用来做个人的 a 键，挺好用的。后续再和千万三点五做个横向对比，记得点个关注。

hello， 大家好，我是 ken。 上条视频说到 gemma 四在接入到 openclaw 之后，只能充当一个聊天机器人，我不愿相信，也不甘心， 一个二百六十亿参数的模型，能力应该远远不止于此。于是我今天又坐下来折腾了一天，有好消息也有坏消息，听我慢慢说。 先说好消息，今天的第一个突破，在我给他安装了文件系统技能之后，赋予了他读写我本地文件的技能。果然，他可以根据我的指令在桌面生成一个 markdown 文件，算是一点小小的生产地了。 但当我让他在桌面上创建 word 或者是 ppt 文件的时候，还是一样会牢牢卡住。 好消息到此为止，但接下来我想到了一个新的思路，既然 openclaw 是 有记忆的，它可以学习并且积累技能， 那么如果我先接入到一个聪明的大模型，把我需要的技能都完整的走一遍，再切换回 gem 四大模型，看它能不能完美的复刻出来。 于是我切换成了 podocr 技能之后， 在桌面上放了一张带有简单文字的图片，然后让 codex 先做一遍演示，把图片上的文字准确地提取出来发送给我。 结果非常顺利， codex 不 但把桌面上的文字准确地提取了出来，还帮我顺带把技能也优化了一遍。 好现在切换回 jama 四，让他重复刚才的操作。我给他下了一样的指令， jama 四可以正确地调用 pad ocr 这个技能，也能够识别到桌面上的图片，但就是在提取文字这一步，他怎么样都做不到，会卡住。 我中途问他是否有停止工作，向我汇报进展，他都说正在提取文件中，但是无论我等待多久，十分钟，二十分钟，半个小时 都没有给我任何的反馈。我担心是不是他在运行的过程中，我的电脑内存不足，导致他没有办法生成，于是我把模型切换成了更轻量级的 e 四 b 版本，结果还是一样，会在提取文字的过程中牢牢的卡住。 这让我有点困惑，究竟是我的电脑内存不足，还是模型的能力不够？我更倾向于认为是模型的能力不够， 因为二十六 b 混合专家模型在实际工作的过程中呢，只会调动四 b， 也就是四十亿的参数。 这个被激活了四十亿参数的专家可能还没有学会怎么去运用 o c r 这项技能，但也不能完全排除是运行内存不足导致的。 现在还不能下定论，只有等四月十六号我的 max studio 到货以后，我让他跑三十一 b 满血版的大模型才能够有答案揭晓了， 到时候我会第一时间和大家分享我的测试结果。上一条视频的评论区有很多人问我，他的设备的内存是多少，什么版本 能够跑什么样的大模型？这里就 gemma 四的四个版本呢，我分享一个简单的小公式，供大家去进行自行计算。普通模型呢，就用你的内存或者显存储以四， 得到的数字就是你能运行的大模型版本。比如说，如果你的内存是十六 g 除以四等于四，那么也就是说你的电脑可以跑 e c b 这个版本。接入 open cloud 以后呢，可以做问答机器人，也可以生成 markdown 文件。 但是 jam 四的二十六 b 混合专家模型是略有不同的，因为就像我刚才所说，它在工作的时候呢，只会调动四 b 的 参数，所以呢，是比较特殊的，如果内存达到二十四 g， 就 可以运行二十六 b 混合专家模型。 还有一个简单的测试方法就是如果你电脑的内存是足够的，你可以把呃一二 b， 一 四 b 和二十六 b 三个版本的大模型都下载在本地，然后用欧拉玛去运行它们，看看你提出问题或者下指令之后，他们是否能够做到秒问秒答。 如果能够做到秒问秒答的话，那接入 openclaw 它是可以做问答机器人使用，没有问题的。但是如果在欧拉玛中只是作为聊天机器人，它的回答都是相对来说比较慢的话，那接入 openclaw 肯定是没有办法使用的。 在接入 openclock 以后呢，内存的消耗量会稍微大一点，所以大家在实际使用的时候，最好还是能够留一些余量的好。今天的折腾就分享到这里评论区，告诉我你们还想看什么，我们下期见。

hello， 同学们，然后这一期呢，主要是教大家怎么装这个 gmar 四的模型和这个 code。 gmar 七 b 这个模型。然后呢，我是用 workbody 去装的，你用 qcll 去装也行，你用 opencll 去装也行，都可以的， 因为自己装的话是比较麻烦的，因为自己装的话可能要去这种开源网站先去下载，再去部署，还要用那个 c m d 权限去操作。这个反正我觉得比较麻烦，我直接就把这个 语句做好了，这个语句然后直接发给 workbody 或者 qq， 你 让他去执行就行了， 然后这边就可以让他去执行。我之前是做了这个，把这个投喂给他，然后 workerbody 就 会自己帮我部署这个欧拉玛这个开源模和开源模型这个东西。 然后呢，现在还没装好，不过现在这个欧拉玛已经可以用了，大家可以看一下，但是它是一个全中文的界面，不是全英文的界面， 所以呢，这个欧莱玛呢，还是要变成这个汉化版才行。这个欧莱玛我觉得还是挺可以，它它可以集成这个 open cloud cloud code code， open code 这些都可以去集成， 然后集成以后呢，你还得去下载，就是下载速度有点慢， 让他去集成这个 openclo， 集成这个 cloud code， 这样的话，然后一般都是用这个金面大模型。 e 四 b， 我 比较喜欢这个，这个其实都本地的，然后这边选择模型的时候，大家一定要切记要选这个本地的， 他本地是直接部署好的，你这个云端的是没法用的，云端的他是需要，应该是需要国外的账号才可以用，好像 我是先把它本地部署了，用 workbody 或者 qqlab 本地部署，然后他把本地的大模型都给下载下来，就直接调取本地的就行了，明白了吧？然后现在呢，就是说要去，他要去做这个结合，不过现在下载速度比较慢，大家可以看到等下载完之后就可以使用了。 然后这个 workbody 也在部署，相当于是让这些来通力合作。我现在就在研究哪个模型非常更好用吧，因为我做这个软件开发，需要大量的用这个 ai 来帮我做软件，做小程序。 然后这块呢，我比较喜欢看看是咱们中国国产的这个龙虾好用还是国外的龙虾好用， 比对一下国产的腾讯，反正这几天我用的是挺习惯的，它的交互了以及对中文的识别能力是相当强的。 这个欧莱玛它是一个国外的，应该是一个桌面，桌面的一个开源的系统， 可以调，可以相当于就是调取，相当于调取这个 open cloud， 调取 qcloud code， 调取这个 gmail 四模型，它应该是把所有的模型做成了一个桌面的扣端，让你可以去对话，是这么个意思。 ok， 今天这期就教就到这了，然后大家可以截图看一下我做的这个， 这个这个部署任务吧这个指令，然后大家可以根据这个指令也安装一下，自己尝试一下把这个自己的龙虾养的特别好，然后争取能提高工作效率，那以后你只要上班，你就往那一坐，就可以开始喝茶看报纸， 让龙虾帮你工作就可以了。 ok， 这期就做比较简单的，然后下一期我再教大家怎么用龙虾去开发小程序，开发软件， ok， 这期就到这，然后感谢大家的观看，记得给我点点关注， ok， 下期再见，拜拜。

我建议所有使用 cloud bot 的 朋友们不要在本地部署大模型。很多人都说 cloud bot 呢，让 ai 可以 去操作你的电脑，这个听起来是很好的，尤其是呢，那些很注重安全的公司，他们会想方设法的在自己电脑上去 部署一个本地的大模型，那么这个样子呢，就把所有的文件呀，他的权限呀，停留在你自己的手机和这个电脑之间了。这个事情看起来是很美好的，但是背后呢，有几个隐患，我一个一个带着你说。首先呢，就是成本层面，到今天为止， 我认为部署一个你自己看得上的一个模型，还是一个比较大的一个成本的。首先你一定要清楚在本地部署一个大模型，你到底需要什么样的电脑配置。我给你个简单的算数，你就可以去理解了。你看到任何的一个大远模型，他们的都说自己的参数是多少，他们通常会以 b 去结尾，比如呢，他会说我是一个三 b 的 模型，十七 b 的 模型，比如像 deepsea， 大家所熟知的是六百五十个 b， 六百五十 b 的 意思就是六千五百亿个参数，但是呢，你怎么去算？你需要什么样的电脑？你只需要把 b 前面这个数字乘以一个二， 那么呢，就基本上代表着你能够在你的电脑上跑一个完整满血版的大圆模型所需要的 显存。这句话有点绕啊，有两个点，第一个呢是显存，而不是内存，第二个呢是满血版。首先什么叫做满血版？你会在网上看到很多人在教你用欧拉玛呀， lm studio 这些的软件去使用本地模型没有任何的问题，但是他们在 带你去下载的时候，你一定要注意它到底是不是量化版或者叫阉割版的。因为随着它自己的所需要的内存越来越少，那么它的精度也越来越低， 精度越来越低，那么大约模型所生成文字的正确率也会越来越低。所以呢，你会看到有四比特量化版，八比特量化版，听起来你可以用一个很小的一个显存就可以用，但实际上你用的是阉割版而不是满血版，就是用你 b 前面这个数字，再乘以一个二，就是你的显存。 第二个我们所提到的重点就是它要的不是内存，而是显存。六百五十个 b 代表着大概一千三百 gb 的 显存。一千三百 g 的 显存是什么概念？我给你举一盘数字，一个 h 一 百大概是八十个 g 的 显存，那么一个八卡的 h 一 百的 cluster 也就六百四十个 亿的现存，那你需要两个八卡 h 一 百的 cluster 才能够给一个人在一个时间使用一个满血版的 deepsea， 这个就是对现存的要求，价钱是多少大家自己网上去查，我只能告诉你一定超过百万。所以呢，你是否需要 使用一个 deepsea 的 满血版，然后在你的本地去跑呢？相比下，你知道如果你用 deepsea 的 api， 那么你大概需要一个什么样的成本呢？我印象当中 deepsea 的 a p i 是 每一百万个 token 只需要大概十六人民币。什么概念？一百万人民币你就粗略咱们保守估计，大概三十万个文字，你出三十万个文字 只收你十六块钱，你自己去对比一下，你要用到百万级别，你要让它出多少个字，这个就是成本上一个非常大的差异，很多人忽略了这一点，用一个阉割版的小模型，你会发现能力差的不得了，更何况我们是希望 logbook 在 我的电脑上去操作的，操作是不能出错的，你让他出一行指令，本来是应该添加，本来是应该修改，他给你变成了删除，这个事可就大了去了。所以呢，我是不太建议在没有绝对相信你自己的电脑硬件实力的时候，就随便的在你本地部署一个大模型，这是第一点，在成本层面， 第二个层面，我觉得是很多大家忽略的就是风险系数，你总是觉得似乎我在我的电脑上用一个开源大模型是最保险的。 但是你要知道，如果你想真正的发挥 cloud bot 的 一个优势，你需要使用它的 skills， 也就是它自己所推出这个 cloud bot， 全世界各地的极客都会贡献他们已经写好的 skills， 摆在网上，你下载下来，原本你的这个 cloud bot 什么都不会，但是你用了别人写好的这个 skill， 你 看今天又能干这个，明天再加个能力，后天再加个能力，对不对？那每一个 skill 是 什么呢？每一个 skill 呢？其实就是一个 markdown 的 文档，下载下来，它会按照里面一步一步去执行，但是呢，在执行过程当中，你会不会仔 就去读这个 skills md？ 如果你自己没有读 skills md 的 这个能力的话，那么我建议你谨慎使用。为什么？因为你不知道它在里面会植入什么？到现在为止，虽然我们还没有看到一些不好的例子， 但我相信有些 bad actors 一定会找到 skills 的 类动，在里面植入一些不想植入的东西。你下载下来直接让大元魔去使用的时候，它会做一些不好的事情。但是这个时候，如果你今天用的是一个 开元的本地模型，你自己是没有这个评判能力的。但是如果你今天用的是一个接入别人 a p i 的 能力，在他输出一些不好的东西的时候，很多的这些 大厂的模型会在前面已经给你啪加了一道网关了，告诉你我不能够输出这样的东西，说白了，他们已经在帮你输出之前加入一层安全的护栏了。所以我们切一定要记住 opencloud 这个东西，它虽然 skill 是 一个很伟大的一个发明，让你可以用到全世界所有的优秀的人写的 skill， 同时它也扩大了潜在的风险。 所以这两点是我觉得普通的用户们暂时先不要考虑在你的本地去部署大模型这件事情，尝试把它下载下来，接入到呢手机里，然后接一个便宜的 a p i， 无论是很好很好的模型，价格也非常的便宜，都是大厂， 很多人呢，都会高估了自己的文件的安全重要度，而低估了大厂对于安全的服务度。你要知道，今天如果你用阿里云，用腾讯，用华为云，你的文件都是存储在他们上面的， 那其他的大公司都没问题，怎么就你的电脑里这个文件就会单卷安全的问题呢？对不对？所以呢，千万不要低估了大厂的安全能力，而高估了自己的文件的安全重要程度。所以呢，赶紧先去接入用起来，找一个你喜欢的大厂的 a p i 用起来 感受一下未来的时代，这个才是重中之重。慢慢地，你在不断地添加 skills， 慢慢地在考虑你是否需要转移到本地大模型，这个才是一步一步迈入未来的正确方法。

怎么用谷歌的战马四去反推图片提示词？今天我教大家用谷歌的战马四二十六 b 的， 然后 a 四 b 的 一个模型去给它反推。我们一生用二十四 g 的 模型，这个模型在本地十六 g 县城就可以部署了。我直接跟他说，让他去反推正图的提示词，做一个详细的提示词脚本。我们可以看一下这 一个提示词描述，他已经描述的非常详细了。如果你要把战马四部署到本地的话，十六 g 大 概是两到三分钟的样子的。 e e e e 艳艳牌。

内存搞了四根八 g 的， 这个是显卡，联想的幺零六六涡轮卡，他在电脑上安装一个谷歌的这个 ai， 他 叫 jam 四，这是个本地的模型，可以离线跑， 就不需要联网。最开始我也疑惑，你这个 ai 怎么能离线跑呢？跟我们用那个豆包一样，不联网。他怎么回答问题呢？看了下这个文件大小，四点二 g， 五点九 g 的 不同的版本，十七 g， 十九 g， 这个本身是训练好的，各种乱七八糟的数据都存好了， 当然也有代价吃硬件嘛，他这个运转吃你的内存跟显卡，在线型的那种 ai。 gpt 豆包，他的安装文件很小，两百兆，三百兆，他让你问问题之后发给了云端服务器，消耗的是服务器的硬件资源，他运转好了之后再把结果顺着网线给你。反过来 这么一个过程当然有代价， gpt 可能要交钱，这离线模型你不用花钱买，那个什么头盔免费的。这里面四个版本，一二 b， 一 四 b， 还有三幺 b， 他的硬件要求都不一样，这个要求是最低的， 还可以在手机上面跑。搜了一下，主要是吃内存跟显卡，对 cpu 要求不高。我搞了个幺零六零六 g 的 显卡，就跑这个模型，一四 b 的。 到这个网站去下载 lm studio studio studio studio 工作室软件里面叫工具级的意思， lm studio stu d i o 回车第一个就是这个官网，打开好，这个是全英文的，右上角 download， 先给他下载下来， 点这个 download 和 windows 下载五百八十兆了，下载速度五点七兆还行。好，这个下载完了直接安装中文界面的，为所有人安吧。下一步路径我也不改了，直接安装 好，安装完成直接运行英文界面的，点这个 get start， 开始 我 gmail 四模型，不用专门下载，直接就跳出来了。还是一四 b 的， 直接点这个蓝色按钮， dongle 的 gmail 四一四 b 大 小六点三三 g 让它下载就可以了。这个速度还挺快的，可以让它后台下载，直接继续， 把它忘了删掉，不管他直接继续，这就是他的聊天界面。下载进度在这调成中文，点左下角这个小齿轮， app 浪轨迹，默认英语， 选简体中文关掉。啊，已经变成中文了。这下载速度一秒两兆多。还行，刚才那个界面没有这个模型的话，你可以直接搜这个小人头，点一下 搜索模型，加满四一 b， 一 二 b 都有看下载按钮不就在这吗？ completed 下载完成。怎么加载？很简单，点一下这个播放按钮， load model 加载模型，这不就出来了，测一下这个识图功能怎么样啊？ 这个 d 轮的话也是完成 paste 粘贴。这是啥发送？这在思考好，结果出来了， pet 聚酯纤维，没问题，没毛病。