gemma4要求显卡还是内存卡

今天我将跟着大家一起本地步数加码四，接入 open core， 彻底告别托肯焦虑，接下来跟着我操作。 这里我们先进入 elama 的 官方网站，进入官方网站过后，我们直接点右上角的 download 下载，我们这里是 windows 系统，选择下载 for windows， 点击这里， 这里就等它下载好。下载好之后，我们这里就直接双击运行，这是它的安装界面，我们直接点安装这里，等它默认安装好。 好了，这里 elama 就 安装好了。然后我们到这个地方 elama 的 官方网站，选择 models， 这个地方选择 command 四， 然后这里我们选择我们的模型，这个模型的选择我们根据我们的显卡显存大小来选择。我们这边看一下我们的显存是多少， 这里看到我使用的是四零七零的显卡，显存是十二 g b 的 显存，十二 g b 的 显存的情况下，我们可以选择这个九点六 g 的 模型，这个一四 b， 这个我们直接点进去，选择一四 b。 点击进去过后，我们直接复制这条命令，然后运行一个 cmd 窗口， 直接粘贴这里，它就会欧拉玛会自动地给我们安装这个模型。呃，这里等的时间是比较长的， 这里模型已经下载下来，并且运行起来了，我们向它发送一条消息，试一下你是谁， 反应还是可以的，这就跟了我们信息回答了。好了，在这里过后呢，我们就可以把这个窗口关闭掉， 关闭掉过后，在 lama 这个地方我们去选择这个模型，在这个位置也就可以和它进行通话了。 比如我们问他一句，你可以帮我做些什么， 他已经帮我回答了，在这里呢，我们因为我们是在本地虚拟机上安装的，所以而且我们为了方便以后可以在其他计算机上也可以调用，我们在这地方设置这个位置 点，这个位置点设置这个允许在网络上运行，把它开起来点了就可以了。 好了，我们下一步就开始配在 open core 上配置啊，在这里我们进入虚拟机之后，我已经执行了 npm i， 刚接 open core 全曲，安装 open core 的， 我们这里可以执行一下 mini， 看下我们安装的版本。 openclock 杠 v 是 安装的最新版本二零二六点四点五版本，然后我们执行 openclock on， 在 这里我们进行一个调试，这个地方我们 yes， 这里选择快速，这个地方它是让我们选择大模型，呃，大模型它这里有，我们选择本地的这个位置点确定 这里我们直接就选择本地的，不要选云，上面是带云端的，就选择本地模型。 这地方让我们选择模型，我们选择这个，这就是我们刚刚这个就是我们刚刚下载好的模型，就是 直接回车。等一下， 这里让我们选择通讯工具，我们这直接跳过，暂时不管这个，直接跳过。 呃， scale， 我 们这边也选择否先进行最简单的安装 网关，我们就直接重启， 选择 open ray web ui 好 了，我们看一下 open core 运行起来了没有。 open core getaway style sta 好了，已经运营起来了，我们进去看一下， 这边需要 token， 我 去看一下 token 是 多少，关于 token 的 话就是我们，我现在是在虚拟机里面安装的， 我要重新打开看一下，在虚拟机里面安装，我们就直接去通过这条 mini 访问我们的虚拟机， wsl 的 虚拟机访问，然后无斑图选择 home 目录，选择我们的用户， 然后这里选择点 opencloud 这个文件夹，然后这一个 opencloud json 让我们看一下，到 git 里面去，这个地方就是我们的 talking， 复制粘贴下来到这个地方，点连接好了，我们尝试给他发一条消息，你是谁？ 在主位置这个地方，我们可以看到这地方是我的模型。 我再问他一条消息，你现在使用的是什么模型？ 看这里已经是我当前运行的模型 工具，在这里我们就可以看到了，我们现在整个 open call 来使用的是我们本地模型，就不需要去购买 token 了。好，今天内容就这么多，谢谢大家。

一分钟让你搞清楚关于全球最强开源模型 jam 的 一切。最近谷歌开源了 jam 四，我将用四个问题 让你清晰了解关于 jam 的 一切。 jam 各版本的区别，我家的电脑能用吗？模型怎么部署安装？普通人用来干什么？先说他的四个版本，三一 b 直接冲上全球开源 ai 榜第三名，以前要机房才能跑的能力，现在你家里的高端游戏显卡就能搞定。 轻量版的一二 b 和一四 b 为手机、平板以及中低端电脑设备打造，性能虽不是最顶级，但是绝对好用够用。而二六 b 猫号称总参数两百六十亿，但实际每次思考只用其中三十八亿个，最相关的效果却能媲美两百六十亿， 能理解超长文章以及视频。简单说，无论你是用手机、笔记本还是高性能电脑， jam 四都能给你免费安全强大的顶级模型体验。再说你家里的设备是否能用上？一张图告诉你 jam 四个版本的最低要求。 对于多数人而言，家用的电脑设部署一二 b 一 四 b 完全够用，基本能满足百分之九十的使用场景。另外两个版本对内存要求较高，但是性能出众，属于好马配好鞍。 再说模型安装，整个过程大概十分钟左右。首先下载 lm studio， 然后打开 opencool 或者 id 工具，让它查找你本地配置，给你推荐安装哪个版本。之后在 lm studio 里下载，运行搜索推荐的模型名点下载，最后接入 opencool 或者 i d e l m studio， 提供 open ai 兼容 api， 在 open 框里把 api 地址改成， h t t p l o c a o s t colon twelve three four slash vivo 就 能用 jama 四驱动你的 ai agent 了。 网上攻略一大堆，这里就不展开了。最后说下所有人最关心的能用 jama 做什么？这里推荐三个场景，可以去试试。第一， 构建本地知识库，把工作和学习相关的文件丢给本地 jama， 让他帮你形成系统化的知识。构建个人知识库时进行向量缩影和 anitive， 解锁数据不出本地，安全合规。第二，给家人搭建一个 ai 助手，下载好模型，配个界面，电脑手机都可以直接对话，不花钱不泄露隐私。第三，内容创作 最大优点是无限额度，即便不如部分付费模型，但可以靠大量尝试提升优质内容的概率。千马寺会改写国内企业及政府客户的私部模型格局吗？欢迎在评论区发表你的观点。

大家好，我是根谷 open cloud 的 追马四欧拉玛全新的本地模型体验来了。欧拉玛最新更新的版本是 v 二点零啊，已经支持追马四，搭配 open cloud， 响应更流畅，速度更快，回车记出结果，支持常文本做任务处理，本地 i i 体验相当的不错， 要想流畅的体验，快去试试升级吧。首先教大家如何去升级吧，当你用这个积马四的话，你首先的显卡应该是十六 gb 上的啊，最好能够到三十六 gb 啊，我的电脑是一个一百二十八 g 的 全存和内存一体化的，是吧， m 四 max 的 最强电脑，所以说我运行这个东西是， 呃，我运行这个金马四二十六币了，这个模型是没任何压力的啊，欧拉玛兔啊，一定要用这个命令啊，金买四二十六币啊，你回车 他默认的会把它下载到你这个，因为我是下完了是吧，当然如果你下载很慢的话呀，你应该去做的有两个操作，就是应该是这么做的，应该是做那个去开他代理啊，这个代理应该是这么做啊，就是去去这么做 开这个代理啊，或者是你去那个把这个镜像设置为那个，设置为一层摩摩搭论坛的那个代理啊， 就是把它带代理到国内啊，如果你能够魔法上网的话，就不需要开代理了，因为我这边的网速是比较快，大概是下载了接近接近两个小时，一个半小时啊，大概是五到六兆每秒，他是七 gb 的， 他会下载哪个目录呢？你可以看一下这个目录啊，欧拉玛这个目录，呃， 首先它的模型会下载到这里，下载你其实不用管了，你可以打开你的欧拉玛，现在欧拉玛其实它又升级了一个小版本啊，就是零点零点二 两百啊，零点二点，零点二点零点二啊，这是今天最新版本，大家建议大家升级最新的版本。那我这里下载了两个模型比较好用，一个是 gbt 的， 一个是 o s s 二十 b， 一个是这个积满四，最新的二十六 b。 那 我发现这两个模型都非常快啊，你下完了以后，你一定要用欧拉玛浪琴去启动欧拉玛 浪去，他去启动这个欧风 club， 启动完了以后我这已经是启动了，启动了以后你打开这个小小龙虾的页面来，我给他做一道数学题目吧。啊，这个他不知道他能不能识别啊，哎，你看非常快吧，秒开吧，是吧？ 然后他这个地方其实有错误啊，就是我应该去截个图给，不知道能不能截图过去啊？就是你，哎，就是就是就是，求解，这个一元二次方程， 不知道他能不能识别。这个啊，他已经识别出来了啊，这个是啊，我不知道这个结果是不是对的。 x 平方减五， x 加六啊，应该是没，应该是没问题的，对吧？一个是二，一个是三，对吧？对，非常快，然后这个数学题其实更难一些，就是这个勾股定力的这个，一个这个这个 啊，你看看一下，他应该是应该是很快的，一秒、两秒，两秒就出来了，这个比之前是快很多，我记得考了应该是三月 二十八号那个版本嘛，大概是一周前的欧拉玛这个版本和 opencall 的 最新版本啊，它大概是这样一个难度的速写题，要要五到八秒钟，如果是过年的那会大概是要一分多钟，所以说现在是非常快啊，非常快啊，就是我感觉比那个 api 都要快，所以大家尽可能去试一试啊。用它进行养虾的话， 那比如说，比如说我是谁啊？对吧？他应该很快就能够找到十二月份，是吧？年龄怎么怎么样？我觉得非常快，这个建议大家赶紧去升级吧。

很多人问我十六 g 显存为什么能跑 jam 四二十六 b， 现在我把我的设置教程发出来，我用的是 l m 塑镀，有上下纹，长度设为六十 k， gpu 卸载设为二十，剩下的三十层给 cpu 跑。另外 k 和 b 缓存一定要开启 q 八量化， 这么设置完显存占用基本在十二 g。 第一次设置的时候是十五 g， 但重启软件再加载就变成十二 g 了，显存还有四 g 剩余。咱们来看看速度。这里测试一个办公场景，发一张竖版流程图给 ai， 让它改成横版。注意看，这里全程无加速， 他直接给我生成了代码，没有任何废话，速度非常快。最后我用工具将代码解析成流程图，结果就是这样， 和原图对比一下，逻辑基本一致，确实非常厉害。

兄弟们，欧拉玛已经更新好了，杰玛斯的大模型也不朽完成了，一共四个模型，接下来挨个测试一下，所有的测试都是在这个电脑配置下完成的。第一个问题，介绍一下自己， 第二个问题，用李白的风格写一首 诗。 最后一个问题，经典的喜鹊问题 总结一下，四个模型都测了，最快的是一二 b， 最慢的是三十一 b， 四个模型第一次启动都有点慢，后续速度都还可以。 总的来说，回答质量最好的是三十一 b， 包括最后的一个洗车逻辑陷阱也自动识别出来了， 就是我这个配置运行起来实在是太慢太慢了，所以性价比最高的应该是这个二十六 b 模型。回答速度，回答质量都还可以，可以用在部署小龙虾，用来做个人的 a 键，挺好用的。后续再和千万三点五做个横向对比，记得点个关注。

谷歌刚发布了王炸级别的开源大模型 g m 四，本视频将为你带来详细的评测。本次的 g m 四最大的杀手锏是彻底转向了 ipad 二点零纯开源协议，这意味着他终于解除了之前的法务紧箍咒，开发者可以闭眼商用。虽然三十一 d 模型在 reno ai 榜单上拿到了开源第三， 但回归到真实场景，它的表现其实是一把极其锋利的双刃剑，评价非常两极分化。首先看旗舰级的三十一 bance 模型，它的编程能力非常惊艳，实测写 html 界面，排版精美，在 levelbench 拿到了百分之八十的高分，达到了专业程序员的指令水平。 而且它的 token 效率极高，平均消耗只有 coin 三点五的百分之六十五，非常适合需要反复调用、在意成本的本地 agent 工作流。 但它的偏科非常严重，数学精度不足，简单的运算经常出错，尤其是在处理信息密度大的长文本时，很容易产生幻觉，而且在开启慢思考模式后，偶尔会陷入死循环，无法跳出。接下来是性价比极高的二十六 b m o e 模型， 这款模型是本地二十四 g 显存用户的福音，虽然总参数有二十五点二 b， 但推理时仅激活三点八 b 参数，这意味着你只需要十六到十八 g b 的 显存就能跑起四 b 的 量化版，而且速度极快，实测能达到每秒六十个 token， 非常适合那些需要塞入臃肿系统提示词的 a 帧子应用。不过这款模型的评价极其割裂，虽然有人觉得它实用，但也有开发者直言它在中文写作和逻辑推理上，灌水严重， 被戏称为数字干水制造器。最后是端侧的小杯模型 e 四 b 和 e 二 b。 它最大的亮点在于原声支持最高三十秒的音频输入，这意味着你不需要外挂 s r 语音转文字模型，英文转写效果几乎完美，是做本地语音助手的绝佳选择。但它的视觉能力简直是灾难， 面对简单的发票截图或手机截图，文字提取错漏百出，甚至连最简单的网页自动化操作第一步都会报错。在视觉理解这个维度上，它被 q n 三点五的九 b 模型按在地上摩擦。 那么在实际选择时，如果你需要构建本地的高频 agent 循环照用，且对 token 预算和响应延迟要求极高，那么二十六 b m o e 是 首选。 如果你想打造纯离线的语音交互设备，直接用 e 四 b 即可。当然，如果你最看重的是开源协议，需要变商用 jamas 的 pitch 二点零协议就是最大的优势。 相反，如果你需要一个强悍且稳定的综合小尺寸模型， q n 三点五的九 b 版本在综合能力上是碾压 e 四 b 的。 另外，如果你依赖高精度的数学计算 o c r 文字识别，并且要求极低的幻觉率，或者需要一个更成熟的生态和丰富的尺寸矩阵，那么 canon 三点五会是更稳妥的选择。在底层架构上，简码四引入了两项黑科技， 第一是 pl e 逐层嵌入，这是小模型专享的，它不再把所有信息在初识阶段一次性打包，而是在每一层都生成专属信号， 本质上是用额外的算力换取存储空间，增强表达力。第二是混合注意力机制，它采用了五层滑动窗口和一层全局注意力交替的结构，配合双 o p e 配置，直接将上下文处理能力拉升到了二五六 k。 针对硬件部署，这里给一套基于 ansel 和 m c p p 的 建议。如果你只有八 gb 显存，勉强能跑 e 二 b 或 e 四 b， 但只能做简单的摘药或语音识别，千万不要尝试复杂的视觉理解或长代码分析。二到十六 gb 显存是 e 四 b 的 舒适区， 也可以尝试二十六 b m o e 的 重读量化版。而如果你拥有二十四 g b 显存，强烈推荐跑二十六 b a 四 b m o e， 这是目前最有限势意义的型号，能同时兼顾二五六 k 的 长上下文和高效的吞吐量。 最后，分享两个长文本推理的闭坑技巧。如果你在进行存文字的长上下文推理，建议在辣妈 c p p 中直接关闭微震视觉功能，这样可以节约大量显存。 另外，面对复杂任务时，可以通过 a p i 动态调整 thinking budget， 也就是思考预算，防止模型陷入无限思考的死循环，导致机器直接卡死。

谷歌 deepmind 突然发布， jam 四四个版本齐发，最小的能跑在手机上，最强的开源排名全球第三。 二十六 b 混合专家，模型推理时只激活三点八 b 参数，速度接近四 b， 性能碾压二十倍对手。这就是猫架构的魔法。二十六 b 板量化后只需十二到十六 g 显存， rtx 四千零八十就能流畅运行。以前这个级别的模型要二十四 g 起步。 三十一 b 版本在 m 二零二六数学竞赛拿了八十九点二分，钱袋只有二十二分。编程竞赛 e l o 两千一百五十，人类前百分之零点三水平。 二十六 b 和三十一 b 版本支持二五六 k 超长上下文，相当于一次性读完二十万字的书，整个项目代码仓库丢进去，分析 所有版本原声，支持图片和视频理解，手机版额外支持离线语音输入，不依赖云端隐私，更安全。最小版本 e 二 b 只需要四 g 内存，树莓派能跑，安卓手机能跑， macbook 能跑，完全免费开源，没有任何限制。 三十一 b 版本在 arina ai 开源排行榜全球第三， apache 二点零协议，个人商用全免费，直接在奥拉玛一键下载。 想试的现在就可以打开终端，输入 alma pool jama 三冒号二十七币等几分钟就能本地运行这个全球 top 三的开源模型。关注我，下期手把手教你部署！

酷狗发布的 jamax 家族这次把本地部署的门槛彻底拉低了，它包含了从高性能工作站到边缘 iot 设备的四款模型，不仅原生支持图文视频多模态理解，还拥有最高二五六 k 的 超长上下文。 最关键的是，全系全面转向了 h 二点零协议商用，完全没有后顾之忧。首先来看这个家族的扛把子三十一 b 电子版本，它采用全密集架构，三百一十亿参数在推理时全部激活， 这意味着它拥有该系列最强的逻辑能力和输出质量。如果你手里有八十 g 显存的 h 幺零零或者多张消费基显卡组基群，且对结果的精准度有极致要求，选这款就对了。 接下来是性价比最高的二十六 b m o e 版本，这里要重点解释一下混合专家架构的优势。虽然它的总餐数量有二十六 b， 但单次推理时系统只会激活其中三点八 b 的 参数，这种机制在保证智商的同时提高了每秒的吞吐量。 对于大多数本地桌面用户来说，这款模型在响应速度和性能之间达到了完美的平衡。针对手机和 l t 设备， google 推出了 e 四 b 和 e 二 b 两款端侧模型。这里引入了一个关键的 pl e 单层嵌入表技术，简单来说就是让大体级的磁表在查找时不全面参与常规计算，从而大幅降低内存占用。 一四 b 有 四点五 b 有 效参数，适合树莓派或 jason， 而一二 b 只有二点三 b 可以 直接跑在手机上，让端测 ai agent 成为可能。最后总结一下全系列的通用能力， 在上下文长度上，大模型支持二五六 k， 小 模型也达到了幺二八 k， 足以处理超长文档。再加上原生的图文视频理解能力，让它在实际应用场景中非常灵活。 在实际性能测试中， jam 四三十一币的表现非常强悍，尤其在 g p q a diamond 科学推理测试中，拿到了百分之八十五点七的高分， 但更核心的竞争力在于它的 token 效率。同样，一个任务竞品可能需要一百五十万个以上的 token 才能说清楚，而 jam 四只需要一百二十万个，这意味着它说话废话更少，逻辑更直接，在实际部署时能显著降低推理成本。 如果把它和国产明星 q n 三点五二十七 b 放在一起对比，你会发现一个有趣的现象，在一些细分的工具调用跑分上， q n 确实略占上风， 但在基于人类真实偏好的 rena a i yellow 评分中，两者几乎打平。这说明在实际的人机交互体感上， g m 四三十一 b 已经达到了顶尖水平。很多人好奇为什么价格没怎么变，性能却原地起飞？ 其实拆解底层代码会发现，它依然沿用了 paperstorm g q a 以及局部全局混合注意力机制。这次性能的飞跃完全不是靠改架构，而是归功于训练数据的质量飞跃和训练配方的深度优化。这再次证明了在当前大中型阶段，高质量的数据才是真正的核心竞争力。 现在进入实操环节，如果你追求极致简单，首选奥拉玛。首先把版本升级到零点二零以上，然后直接在终端输入命令，想要轻量化测试，就运行一二 b 版本。如果追求性能和速度的平衡，强烈推荐运行二十六 b 版本。 对于 macm 系列芯片用户， m l x 框架配合 turboq 是 史诗级加强，它通过压缩 kb 缓存，直接把内存占用，从十三点三 gb 砍到了四点九 gb， 整整节省了百分之六十三的空间。 具体的部署命令就在屏幕上，这里有一个关键的权衡，开启这个优化后，解码速度会慢一点五倍，但它能让你在 mac 上跑满幺二八 k 的 长上下文。对于处理长文档来说，这个招牌绝对稳赚不赔。 如果你是显存困难户或者即刻玩家，可以尝试 einslof 和拉玛 cpp， 只用 einslof 量化，只要六 gb 显存就能跑起一二 b 或一四 b， 甚至能构建支持网页搜索的本地 agent。 而如果你有三张四千零九十并行二十六 b m o e 版本的速度能达到惊人的每秒一百六十二个头啃。此外，通过实验性的 turbo quant plus 分 支，能把三十一 b 模型的体积从三十 g b 强行压到十八点九 g b， 让大模型在消费级显卡上跑起来。 最后是企业级生产环境，建议直接使用 v l l m， 它原生支持多模态输入和二五六 k 的 高吞吐量，并且完美兼容多卡并发。 开发者在实测中发现， v i l l l 搭配最新版的 transformers cool， 可以 非常稳定地调用 jam 四的工具接口，适合构建大规模的商业应用。在部署之前，有几个坑必须提前告知。首先是模态缺失，虽然官方宣传支持音频， 在目前音频输入请在 google ai studio 线上可用，所有的本地框架都还没适配。其次是稳定性问题，如果你使用 l m studio 运行三十一 bit n s 的 g g u f 版本，可能会遇到死循环输出的 bug， 建议等待社区修复。最后是能力边界，在处理复杂的函数调用时， e 二 b 和 e 四 b 这类小模型的表现不如同级别的竞品复杂任务建议直接上二十六 b 或三十一 b 版本。最后根据你的设备和需求 直接看这个部署。建议企业商用直接选 jam 四 high party 二点零协议让你没有任何法务后顾之忧。个人 pc 或游戏本用户强烈推荐二十六 b m o e 版本，单卡四千零九十就能跑通超长上下文，且响应极快。 mac 开发者请认准 mlx 框架，记得开启 turboqant 来解放统一内存。至于 i o t 创客 e 二 b 和 e 四 b 证明了六 gb 内存也能跑起。智能 agent 是 端侧智能的最佳选择。

昨天，谷歌发布了迄今为止最强大的 gemma 四本地大模型系列，让众多本地 l l m 爱好者欣喜若狂。 特别令人兴奋的是， gemma 四基于 gemini 三技术开发，根据公布的基准测试结果，其性能甚至超越了规模高达其二十倍的竞争对手。但抛开所有技术细节这些，我稍后会讲到。此次发布中最引人注目的它是 apache 二点零。 看起来谷歌终于听起了开元社区的呼声。如今， game 四已完全开放，允许商用的 app 二点零许可证发布了。 这意味着你可以用这个模型做几乎你想做的任何事情，完全自由，不受公司绑定，对您的数据和产品拥有绝对控制权。今天我要在我的笔记本上安装并测试这个模型，可能还会在台式机上试一下，看看它是否足够好，能作为我的主要本地模型使用。 但有个重要说明，我不是想用这个替代付费模型。我把詹姆斯视为对付费模型的补充，适用于不太复杂的任务，或我不希望数据离开本机的情形。嗨，我是 nick， 从事软件开发已超过二十年， 在这个频道，我分享自己在 it 领域的经验、见解与思考。所以，为了今天在我的电脑上运行 jm 四，我将使用 lm studio。 如果你还没用过这个工具，看看我频道上的视频，里面解释了这是什么，以及如何使用它。 好的，首先，我会尝试在我的 macbook 上安装这个模型，因为正如我所说，我希望它能随时可用。不幸的是，我的 macbook 只有二十四 gb 内存，所以我会在那里安装一个较小版本的模型，参数规模为两百六十亿或三百一十亿的更大变体，我将安装在台式机上。 该模型有多个量化版本可供选择，我就选最大的那个，毕竟大小差异不大，但输出质量应该更好。 模型下载期间，让我先回顾一下谷歌在公告中强调的几个关键特性。首先，这些模型在设计之初就考虑到了基于智能体的工作流，他们原声支持函数调用，并能生成干净的结构化 g s o n。 第二，所有版本都是多模态的， 他们能处理图像和视频，而较小的模型一二 b 和一四 b 甚至拥有原声音频支持，这意味着他们可以直接理解语音。 第三，这些模型配备上下文窗口，小版本为十二万八千个 token， 大 版本则为二十五万六千个 token， 这应能让他们胜任大型代码库的处理。不过这一点还有待我们测试验证。 最后，作为一个不错的额外福利，这些模型支持多种语言。好了，模型下载完成了，让我们把它加载到内存里，我们也快速检查一下参数。正如我所说，我下载了八位量化版本，架构当然是 gemma 四。最重要的是该模型支持工具和图像输入。 正如你所见，这个模型拥有七十五亿参数，但只有四十亿有效参数，这应该能带来更好的性能。上下文窗口已设置为最大值幺二八零零零头啃，这很棒。好的切换到聊天界面，让我们确认已加载并激活正确的模型。 顺便提一下， lm studio 在 这里显示了一些有趣的信息，比如模型加载后实际占用了多少内存？正如你所见，对我来说大约是十二 gb。 在 聊天底部，你还可以看到在使用模型时可用的工具。 好的模型已成功加载，我们来测试一下它到底行不行。为此，我会在新的聊天中发送一个简单的提示。首先，我会让它完成一项相当简单的任务，编辑一个 python 函数，按两个键对字典列表进行排序。 这是我用来测试每个模型的标准化提示词。这相当基础，所以任何模型都应该能搞定。但这里的目的是验证模型是否正常工作，并看看他在我的硬件上想拥有多快。 我会加快视频中回答生成的速度，因为生成完整答案可能需要一些时间。但最后我会分享总耗时，这样你就能估算他在你的机器上跑的多快。 所以模型耗时不到一分钟。精确来说是四十九秒，平均速度约为每秒三十一个 token， 启动响应的延迟约四点五秒。 老师说这是个相当不错的结果。提醒你一下，我是在配备二十四 gb 内存和 m 四 pro 芯片的 macbook 上运行这个。现在我们来测试一下詹姆士处理图像的效果，看看他是否能真正理解图中的内容。 我会上传一张图片到聊天中，然后让模型描述他看到了什么。这是照片。如你所见，我拍了一张书桌的照片，上面有四样东西，键盘、 kindle、 鼠标和一支笔。让我们看看 gemma 能认出其中多少个 好的模型已完成图像分析。正如你所见，它成功识别出了键盘和鼠标。它还识别出了 kindle， 甚至描述了表面和光照情况。然而它没注意到那只笔。但说实话，这没什么大不了的，重要的是它捕捉到了整体场景，并正确识别出了大部分主要物体。 好的，现在轮到测试更大的模型了。为此，我将使用我的台式机快速介绍一下。我将运行 jam 四两百六十亿参数版本的机器配置。 它配备 amd ryzen 七处理器，一百二十八 gb 内存以及带有十六 gb 显存的 gforce rtx 四零六零钛显卡。好了，模型已启动并运行。让我们给它在 macbook 上执行和小模型相同的任务。 编写一个 python 函数来对字典列表进行排序。这将帮助我对比 jam 四第二十六版在我的台式机上的性能。在此，我会加速生成过程，但稍后会分享总耗时。 在生成回复的同时，看看系统覆盖。右上角我运行的是 mv top， 我 用它来监控 gpu 使用情况。深黄色线条显示显存使用情况，浅蓝色线条显示 gpu 利用率。右下角我运行了 hto p 来监控 cpu 覆盖和内存使用情况。 这两个工具都是免费且开源的。由于完整的 jam 四模型无法完全放入我的显存，因此它严重依赖 cpu 和系统视频内存。但这并不是真正的问题，关键在于响应速度是否可接受。 好了，模型已完成响应生成耗时一分三秒，比小模型稍慢一些，每秒 token 数也显著更低。正如你所见，它大约是每秒十二个 token， 那 比小模型慢了将近三倍。但这并非公平的直面对比。 由于这些模型的能力差异很大，不过现在我对这台电脑上这个模型的预期有了清晰的了解。顺便提一句，这台台式机运行的是 linux 系统，我偶尔用它来做些项目，但我很少把它当做传统台式机用。它主要是一台高性能服务器。 由于它连接到了我的家庭网络，当我需要时，通常可以从任何其他电脑通过 s s h 访问它。我用来与一切交互的主机依然是我的 macbook， 而且好处是你并不需要太多设置就能让它跑起来。厅 l m studio 已经内置了一个可以通过网络访问的 api。 好的，现在让我们切回 macbook， 给模型布置一个更有挑战性的任务。如果你看过我之前测试千三点五和千 code next 的 视频，可能会记得，我准备了一个任务文件，让模型去可示化一个排序算法。 今天让我们给 jama 司同一个任务。在生成回复的过程中，我再给你们看看系统赋载。这和以前差不多， 几乎所有 cpu 核心都已满载，现存也达到极限。好的模型完成了。正如所要求的，它生成了一个可示化排序过程的 html 文件。让我们看看。乍一看，一切看起来都正确无误。我没看出什么明显问题， 现在我要在浏览器中打开它，看看最终效果。哦，这看起来相当不错，它甚至使用了自定义字体，让我试着运行一下。没错，一切正常，速度滑快，可实时更新。动画 不错，总体而言非常扎实。所以今天测试完 demo 四系列后，我可以肯定的说，这些模型真的很棒，我肯定会经常使用它们。 但再次强调，为了明确起见，我并非打算用这个来替代付费模型，我把 demo 四视为付费模型的补充，适用于简单任务或我不希望数据离开本期的情形是，好了，今天就到这里，如果你喜欢这个视频，别忘了点赞订阅，以免错过下一个，回头见。保证。

想跑肩马仕到底需要多大显存？今天一次讲清楚四个版本，逐个对比， 先看四个版本的显存需求， e 二 b 最小 q 四量化只要二 g 手机都能跑 e 四 b 需要五 g， 普通笔记本就行。二十六 b m o e 版要十八 g 需要 r t x 四零九零 三十一 b 最大，二十 g 起步需要 rtx 五零九零或者多卡 量化很关键。以三十一 b 为例，全精度 bf 十六要六十二 g 显存， q 八量化，三十四 g q 四量化只要二十 g q 四比全金度省了百分之六十八的显存效果，几乎没差别，所以强烈建议用 q 四量化， 推荐配置 e 二 b 和 e 四 b 用 rtx 四零六零八 g 就 够，性价比最高。 二十六 b 用 rtx 四零九零二四 g 刚好。三十一 b 需要 rtx 五零九零三二 g 或者双四零九零。 如果预算有限，二十六 b m o e 版最划算，只有四 b 参数活跃，推理速度接近小模型。 总结， e 二 b 手机就能跑， e 四 b 笔记本，二十六 b 需要四零九零三十一 b 需要五零九零 q 四量化省百分之六十八，显存效果不打折， 根据你的显卡选版本就行，评论区告诉我你的显卡型号。

hello， 大家好，我是 ken， 今天早上刚刚打开手机，我就兴奋的睡不着了。 google 刚刚发布了伽马四，一个可以本地部署的大模型，我的第一个念头是省钱了， 如果把它接入 openclaw， 从此在本地生产 token， 那 是不是就可以不用再被云端 ipi 一 点一点计废了呢？然后我花了一整天的时间来验证这个想法，结论有点出乎意料。先听我说完， 我在本地部署的是二十六 b 混合专家模型，二十六 b 代表着他拥有二百六十亿的参数。 混合专家模型的意思是，他不会一次性把所有的参数都用上，而是根据你的指令调动一小部分的专家来进行回答。这样的好处是推理的成本更低，回答的速度也更快。 这个版本在二十六 g 内存的 m 五芯片 macbook 上刚好能跑。这里 jam 四的几个版本呢？我也简单的跟大家分享一下。最轻量的是 e 二 b， 一个二十亿参数的模型，它在市面上大部分的设备上都可以运行。 那么 e 四 b 呢，是一个四十亿模型，运行它呢至少需要有十六 gb 的 内存。蓝血版是三十一 b， 拥有三百一十亿的参数能力最强，但是目前我手头的设备呢，都没有办法运行。目测 如果说要跑三十一 b 的 模型的话，至少需要三十六 g 的 内存。以我这一个月以来把所有的大模型接入到 openclaw 的 体感来看呢，二十六 b 版本我再应用下来，我认为它称日常工作是完全没有问题的。 截止到这里，一切都让我很兴奋。在 macbook 本地上跑通以后，我迫不及待的把它接入了 openclaw。 和我之前用其他大模型接入的体验不同， jam 四在接入以后没有那个互相了解定义角色的初识化环节，不过正常对话是没有问题的。那么问题来了，他能做些什么？说实话，就是个聊天机器人， 连在桌面创建一个 word 文档都做不到，更别谈生产力了。如果只把它看作是一个聊天机器人的话，那么在欧莱玛中直接运行反而比嵌入到 open cloud 中要更快，所以呢，还不如不用。 然后我掏出了我二零一七年的 windows 老本，这台机器呢，有十六 g 内存，按照 ai 的 建议，分别部署了 e 二 b 和 e 四 b 两个版本的模型。单独跑模型的话， e 四 b 这个四十亿参数的版本呢，每个回答要等待时间在十秒以上。那么 e 二 b 这个二十亿参数的小轻量级版本呢？如果是处理简单问题，基本上可以做到秒问秒答。 但当我把他们接入到 openclaw 之后呢，连收到两个字都没有办法回复，不管哪个版本，通通卡死。所以结论很明确，内存不够的设备不要尝试把 jam 四接入到 openclaw， 硬件是硬门槛，绕不过去。 总结一下今天的折腾，二十六 g 内存的 macbook 可以 本地运行，二十六 b 混合专家模型接入 openclaw 也能正常对话，但完全没有超出聊天机器人的额外生产力。 十六 g 内存的 windows 老本呢，接入 openclaw 可以 说是失败的，那么如果在本地运行呢？一二 b 和一四 b 两个版本都可以作为聊天问答机器人来进行本地使用。 我的判断是，如果内存能够达到三十六 g 以上，能够完整的跑下来二十六 b 混合专家模型，那么也许真的可以变为生产力。但是限阶段大多数人的设备都没有达到这个门槛。 本地部署不是不值得探索，但是要先看看自己的硬件设备有没有达到那个门槛，再决定要不要去折腾，不然的话结果可能会很打消你的积极性。 我是 ken， 专注用 ai 做可持续相关工作流的自动化。如果你对 ai 工具和自然语言编程感兴趣，请关注我，我们下期见。

谷歌终于坐不住了，正式卷开源市场， jm 四的效果到底如何呢？ jm 四的发布啊，真的有可能让我们实现头很自由。这期视频呢，老张给大家简要介绍一下 jm 四怎么安装到本地，以及如何搭配到我们的 open klo 大 龙虾上， 附带所有的安装步骤啊，大家可以一起来体验一下。后续呢，老张也会根据测评效果给大家接着发视频，这期是我们完整的部署流程，老张重点给大家简单聊一下，就是为什么 jm 四的发布啊，会让大家感觉谷歌真的开始卷起来了呢？ 首先第一点，他和目前谷歌的 jimmy 三用的是相同的技术基座啊，所以说他的能力是毋庸置疑的。第二点就是商业自由，你直接部署下来做什么都是可以的，都是允许的。然后第三个就是支持多模态，无论是文本、图像甚至小规模的视频音频， 他都可以直接支持。第四点就是结合前段时间爆火的 open klo， 他 可以直接在本地对接 open klo 以及对接 klo 的 code， 实现本地的偷根无线化。这是老张给大家总结的四点，为什么詹姆斯的发布会让大家感觉，哎，可能真的要进入到一个新的纪元， 然后呢，他所发布的这四款模型呢？老张给大家做了一张图片啊，大家可以到时候把它截下来。第一个模型一二 b 的， 他本身是用于手机或者边缘设备八 g 显存， 然后最高端的三十一 b， 他 所对应的旗舰版本呢，是对应的是二十四 g 加，所以大家根据你的需求来进行对应的模型选择。老张这次视频呢给大家来看一下三十一 b 的 这款模型的安装， 然后关于本地的安装部署啊，其实非常简单，任何开源模型，其实我们只需要让他和欧拉玛就是那个小羊驼结合到一起就可以了， 我们可以去一下欧拉玛，之前没有安装欧拉玛的兄弟们也不用担心，直接去他官网安装即可。一个羊驼啊，现在已经开始玩龙虾了，但是这个不，这个是我们，我们首先 现在官方已经开始逐渐的把羊驼和龙虾结合到一起了，我们直接选择对应的登录的，然后找到你符合要求的版本，直接安装到您的电脑上就可以。安装成功之后啊，欧拉玛现在已经有了一个完整的应用端了，所以大家可以直接在这个位置和他进行对话交流。 那我们想要下载詹姆四到你本地的电脑上，我们可以使用它的官方指令找到官网的 model 选项，然后这有一个詹姆四，我们进入，他会告诉我们直接怎么样去进行詹姆四的对应安装，像老张想安这个三十一 b 的 对吧？我们就把它拿过来， 把它直接这有一个 c l i 命令行安装方式，把这个东西直接复制在你的开始菜单中，单机右键选择运行，输入 cmd， 直接把刚才指令粘贴过来，这儿的时间会很长，因为它有二十个 g 的 大小，我们直接稍作等待 安装成功之后，我们也可以直接回到它的客户端中，在模型选项上找到我们安装好的詹姆斯冒号三十一币， 然后可以直接进行对话，老张他处理一个较为复杂的提示词，我们让他看一下当前显存的内存消耗， 咱们拿这个 ai 慢距的提示词来测试啊，这个提示词非常的长，我们看一下他读取提示词的能力，以及他的这个显卡的性能消耗。我们看一下啊，这个显存直接拉满的达到了百分之九十四的占比， 而且这个响应速度还是非常快的，只需十一点七秒啊，就把整体的业务流程给我们直接补齐了，而且呢按照需求给我们进行了对应的提问，要什么样的慢剧效果，所以说以目前的测试反应来看呢，他的这个响应速度起码要比之前的很多大模型要好的多， 所以接下来我们自己来尝试一下对话类的工具，可能大家都不是很需要的，我们能不能把它接入到我们的 open klo， 接入到我们的龙虾里，让他们俩来进行联动的。然后这期视频呢，老张顺便给大家提一下，就是最新版的 open klo 的 部署流程 啊，咱们可以快速的去过一下一些重点的细节，因为之前老张发过很多期的部署视频，咱们可以去到时候去看一下。只不过这期视频呢，我想给大家来讲解一下这个 wsl 的 这个部署优势。 很多兄弟看老张之前视频都是用 note 直接下载安装的，但是为什么老张最后给大家又转回到了 wsl 这一块了呢？因为它本身啊， wsl 它是相当于在 windows 系统上安装一个 linux 的 独立系统， 这样的话呢，就直接相当于在你电脑上安装了一个独立的存储空间，它所谓叫做沙盒安全，而且运行起来呢，是不会有任何的兼容性的对应问题的，因为 windows 中啊，它的权限呐，路径等经常会报错。所以说我们这 期视频重点教大家怎么用 wsl 进行 win opencl 的 部署安装，这样的话， windows 和 wsl 的 安装您都了解之后，之后学起来就非常方便了。 然后接下来呢，老张给大家简单的介绍一下在 wsl 中如何安装我们的 openclaw， 因为之前呢，咱们介绍过太多次了，很多兄弟留言说老张就别介绍怎么安装了，然后我们就给大家简单说一下注意事 项。首先第一呢，你想在 wsl 上安装 openclaw 的 话，第一点，你得先在你的 windows 系统下把 wsl 安装一下。当然很多电脑老张发现其实都是自带的， 怎么检查是否自带呢？咱们可以直接输入 wsl 空格，杠杠威森，如果弹出定的版本号证明 wsl 电脑已经安装了，如果没有弹出的话，使用安装指令， wsl 空格 insert 直接安装即可。然后紧接着按照老张给你提供的指令复制粘贴就可以了。先安装你的优班 图，安装之后啊，在这选择这个倒三角，找到优班图系统，就可以直接进入到你的优班图系统当中。 在你安装过程中啊，它会让你设置一个用户名和密码，到时候可能需要做一步密码验证。在优班图系统中，注意是优班图系统中运行这些环境指令，分别安装 python 三、安装一个压缩包工具，方便安装一个 note 点 gs， 然后再安装一个 get 工具。 如果说为了检测每一步安装是否成功的话，你可以分别输入，比如 note 杠 v、 npm 杠 v， 包括 get 杠 v， 在 这检测我们对应的这个版本，如果都能弹出版本号，证明你三项安装都是成功的，这是配置 openclo 的 基本的内容要求。 然后紧接着我们把基本环境配置好的兄弟，你还需要在这个位置安装一下这个欧拉玛。 这老张要重点说一下，比如说老张我不在本地都已经下载好欧拉玛了吗？为什么在优班图里还需要再配置一下？其实我们优班图中是可以调用本地的欧拉玛的，但是很多兄弟在调用过程中分别给老张留言说说调用时无论是 ip 地址找不到，还是 ip 的 动态变化，导致每次都需要重新连接，重新配置。 所以说最简单的方式就是把欧拉玛在你的优班图系统中再次的安装一遍。其实安装非常简单，只需要把第一步的安装指令复制过去，直接在这个位置直接粘贴即可。安装成功的检测方式很简单，你就输入欧拉玛， 如果他不报错，还给我们对应的选项，是咱们是进行对话呀，还是怎么样的证明你的安装就是成功的， ctrl c 直接退出。 所以说欧拉玛安装之后，紧接着就是把我们的模型在当前的优班途中跑起来。老张刚才给大家测试的是 g m 四三十一 b 模型，我们直接输入指令欧拉玛空格 run， 然后你的模型效果直接回车，第一次时他会直接进行对应的模型下载。 如果说你现在只想用 openclo 来调用欧拉玛的这个占四的话，可以在我们的本地电脑上把之前咱们那个桌面端给它删掉，如果说你不，你想两端都使用的话，就可以直接在这个位置进行使用了，然后发一个你好看一下响应速度， 响应速度是非常快的，所以接下来我们把这个家伙欧拉玛的詹姆斯直接部署给我们的 openclo， 在 这怎么中止对话，摁一下 ctrl c， 再摁一下 ctrl d 啊，就可以直接进行中止对话了啊，所以说大家可以直接的把它退出来， 退出来之后我们在这部署一下 openclo。 关于 openclo 的 安装呢，官网推荐是使用 col 这种安装方法，但是老张发现很多兄弟在使用这种安装方式时呢， 出现了这个网络问题，导致下载出现卡顿，如果说 col 的 方法报错的话，直接使用 npm 安装也是完全可以的，安装完之后直接输入 open klo 空格杠 v 来输出最新的 open klo 的 对应版本啊，这就是老张跟大家说的一些建议啊，大家按照这个要求去做就行了。 然后接下来我们进入到配置，直接使直接输入它的配置指令回车，选择 yes， 然后选择快速开始就可以，我们直接配置一下模型， 然后选择更新，这选择谁呢？选择这个欧拉玛啊，然后选择默认的这个 ul， 选择本地模型，让他去给我找一下咱们本地有哪些模型，稍作等待 好，选择当前的这个模型， gm 四三十一 b， 然后配置我们的聊天软件啊，这个老张之前讲过太多太多次了，现在呢，他又支持了很多，包括 qq 之类的，大家有需要的话可以按照之前老张的教程再来一遍，我们先跳过 打开之后啊，就可以直接对话了。但是如果说善于观察的兄弟们也发现了，老张呢，把这个使用模型呢换成了这个一四 b 的 模型，不是那个三十一 b 的， 因为三十一 b 呢，老张在测试的时候也好，或者在一些使用时候也好，他有的时候会出现这个连接超时的问题，也是 open klo 更新到最新版本出现了一个能启动问题， 这个呢，老张现在还没有特别好的解决方案，所以说我先用 e s b 的 给大家进行演示，发一个。你好，我们来测试一下他的响应速度啊，还是比较快的。 然后接下来呢，我们再把之前的那个慢句的提示词发送过来，我们来看一下他能不能更好的帮我们去进行慢句提示词的对应理解，以及对应的相关反馈。 嗯，其实我们看到啊，他反馈的这个结果呢，和三十一 b 相比啊，真的是有一定差距的，但是呢，确实也是另一方面实现了我们所谓的叫偷根自由。 大家呢也可以后续啊，去测试一下怎么让本地如果你的显卡够用的话，把这个大模型给它跑起来，然后老张呢也会及时给大家更新啊，无论是在评论区中还是视频中，教大家如何使用，我是程学老张，定期分享 ai 好 用知识，希望大家多多关注。

这个 g m 四挺火的嘛，我看了下，我看它采用了这个全新的架构优化，意味着它的这个性能可以和一些币源的模型拼一下了。 我自己啊也部署了一个玩，我部署的这个是二十六笔了，这个东西啊，是真的吃配置，我本来想把它接入到 openclaw 里， 替换掉了我现在用的这个 deepsafe resnar， 因为我现在用的这个模型啊，不是多模态了，我给它还接了一个千万来专门识别视觉信息用。我本来这次想用这个 jimmy 四直接替代这个 deepsafe 和千万 jimmy 还是本地部属，以后也不用花钱复淘看了。但是这个二十六 b 这个版本 太吃配置了，我把它接到 open klo 里，每次一运行啊，要么就是过十分钟才能给我回复消息，要么就显存直接爆了，根本啊，什么都干不了。我的电脑是五零七零 type 的， 要本地玩大模型还是差了一些，我感觉最少这个得五零八零才能勉强接到龙虾里用， 要是想体验到丝滑一些的话，估计得五零九零。所以啊，我就把它对我来说啊，就是一个本地可以聊天的机器人，没有什么用。 嗯，不过这次这个杰玛斯的这个亮点是他的这个二 b 和四 b 版的，因为他呢，在一些配置比较低的电脑还有手机上，他可以本地部署。不过我感觉目前这两个版本本地部署下来对大部分人来说也没什么用， 最多就当个聊天机器人，感兴趣的朋友可以去尝试一下用。自己部署很简单，你去奥拉玛网站下载个这个奥拉玛，然后你把奥拉玛打开，然后再在你的终端就是那个黑窗口输入一段代码，就能部署好了，这代码你们可以随便弄个 ai， 很 简单的。好了，今天就录到这了。

不久前，谷歌发布了 jam 四系列，它不仅是一款开源模型，更是一次关于如何把超级大脑装进手机的工程奇迹。今天我们一起来看一下它是如何用不到四 g b 的 显存，跑出大模型的效果。 这里我们做了一个测试，使用三台手机在本地离线跑 jam 四 e 二 b， 屏幕上呈现的是这三台手机的测试数据，下面给大家看一下实际运行的情况。第一个加油问题， 第二个 g two 铜龙问题， 第三个字母出现次数问题。 可以发现，关于对常识的判断仍然是小模型的短板。然后这三台手机中， iqoo 十五的运行速度最快。 simon 四一共四款，覆盖从手机到工作站的所有场景。 a dos base 最轻量手机和树莓派都能跑，自带语音识别，量化后只要四 g 显存。 a， 跨出白瓷笔记本甜品级， 速度和能力之间的平衡点。二十六 b， 混合专家架构，总参数二五 b， 但每次只激活三点八 b， 用小模型的成本干大模型的活。最后是三 e b 单词，旗舰级模型，全参数推理，开源模型排行第三，适合有好显卡的用户。这里要讲一个关键的概念，单词和猫的区别， 单词密集型。你看屏幕上这些格子，全不在闪，因为每次推理所有参数都参与计算，三十一币就是三百一十亿次，运算一个不少。它的优点是稳，缺点是慢，而且吃显存。 切换 m o e 模式，注意看大部分格子暗了，只有几个在亮，这就是混合专家的精髓，模型里有一百二十八个专家，每次只派八个上场，剩下的待命。 最后说说它的边界，左边是强项，文档识别，发票解析，代码补全，长文档，问答 agent， 自动化任务，这些它都能做，而且跑在本地，意味着你的数据永远不用上传到别人的服务器。 右边是它的短板，如果你问它能否替代跨腾或 gpt， 答案显然是不行的，那能否进行高质量写作？这里我的回答是勉强可以，至于大规模的代码重构，那以它的能力还差得很远。 说白了， jam 四是一个极其出色的本地工具型 ai， 你 把它当高效工具用，它不会让你失望。如果你把它当全能大脑用，那你就会很失望。 想试的话，这里有两种方式，手机用户可以直接去 google 的 a i h gallery 上下载使用，电脑用户更简单，欧拉玛一键运行。下面我们来看如何用欧拉玛本地部署 jamal 四 e 四 b 模型，并使用 clogot 调用它。在 clogot 直接提问它是什么模型， 它是由谷歌训练的大语言模型，欧拉玛在首次请求时加载模型，加载耗时三十八秒，显存系统分配总计实际首先确保电脑上已经下载过欧拉玛，只需执行一行命令，欧拉玛 round gemma 四冒号意思币，等待模型下载完成，总计约九点六 g 币。成功后在终端测试。问答， 它是一个大语言模型，名字是 gemma 四，由 google deepmind 的 开发，属于一个开放权重模型系列。复制这个模型 id， 克隆项目源码， 进入项目目录，运行安装命令，下载完依赖后进入引导界面，颜色模式随便选。第四个是我们做的国产模型适配选择第三项，本地欧莱玛模型， 然后粘贴刚刚复制的模型 id 回车。确认到这一步配置成功。我们问个问题测试一下，现在已经调用成功已经登录的用户，想要切换模型，输入 logo， 退出登录，然后运行帮人 devi， 即可重新配置。我们最新版的 cloud code 已开源，大家关注评论获取。 目前呢，该模型权重在 hackin、 face 和 kaido 上都能下载。以上便是我对 gmail 四的实测解读，如果你觉得有用，不妨点个关注，我们下期再见。

先说个反直觉的，以前挑模型大家像挑冰箱，越大越好，双开门五百升能装一头牛。现在摘码四出来，感觉像有人默默递给你一个保温饭盒，看着不大，打开一看， 三菜一汤还带保温，关键刚好塞进你包里。三 e b 的 模型跑在你能买到的显卡上，效果跟那些参数巨兽掰手腕还不虚。这不是小布块 好，这是直接换了赛道。不比谁块头大，比谁脑子转得巧。边缘端那俩小鸽子才是真狠角色。 e 二 b 和 e 四 b 名字听着像手机型号，干的事儿可一点都不清亮。你想啊， 以前手机跑 ai， 要么卡成 ppt， 要么偷偷联网传数据，现在这俩小模型离线低，延迟还能听能看，你拍张菜单，他直接帮你算卡路里加翻译加推荐搭配，全程不用等云回复，这感觉像什么？ 向你随身带了个懂行的朋友，而不是一个需要打电话问总部的客服隐私这事终于不用靠我们相信你来保证了，而是靠数据根本出不去来，兜底看原许可证，别只看表面啊 pi 七二点零，听着像法律条文，其实就一句话， 你拿去用，改了还能卖，我不收过路费。但有意思的是， google 这次不是施舍，是搭台。 hiking face 首日上线，奥拉玛拉玛 c p p 这些社区神器全支持，甚至你的游戏本都能 fine tune， 这像什么 像？有人不仅开了个免费厨房，还把菜谱、锅碗瓢盆甚至火控系统都给你配齐了。最后说一句，菜做好了，记得数名就行，但咱也泼点冷水。工具越自由，翻车越容易，模型微调歪了，输出带偏键，部署出 bug， 这时候责任算谁的？开言的爽往往伴随着没人都抵的引诱。说点你能直接用上的长上下文加多余元，丢给他一篇五十页的用户反馈报告，让他按情绪、地域、问题类型自动归类，还能顺手生成英文摘要。以前得写一堆脚本加掉 api， 现在一个 browns 搞定离线代码助手三、 e b 版本能在本地跑，你写运营自动化脚本时，让他帮你看逻辑，补函数，查 bug， 敏感数据不用出本地安心。 e 四 b 加音频加视觉。想象一下用户拍张英语笔记的照片与英文 这句话怎么读？模型直接识别文字加标注，发音加生成类似句型练习全程离线延迟几乎为零，这不就是你想要的故事加插图加句型学习流的自动化版本？

谷歌最新开源的大模型 demo four 据说很强，在综合能力上甚至超越了二十倍规模的开源模型。 今天教大家如何快速部署在本地，以及分享一下在 mac mini 上的实际体验感受，具体感受什么样？大家看视频吧。首先打开欧拉玛官网，下载它的应用程序， 打开应用程序，我们看一下他目前支持的一些免费的开源模型，还没有 demo， 所以 我们需要去他的官网再去下载下载到本地。那么这里呢，有很多不同的型号 可以看一下，它有很多不同参数的型号，有满配的，还有一些轻量版的。那因为我这个是 mac mini m 四十六 g 版本，所以我们就选择它系统默认推荐的这个九点六 g 的 好，只需要复制这个指令，然后打开终端运行，它就会自动去下载 这里下载了。那么我们先测试一下， 测试一下他的回复速度，因为是第一次响应，所以速度会有点慢，然后我们打开活动监视器，看一下他占据内存的情况， 这个模型本身就有实际系统走内存差不多也跑满了，这里他已经有回应了，我继续再测试一条， 第二次响应速度要比第一次快很多， 我叫 jam 四，我是一个由谷歌 deepmind 开发的。 ok， 现在我们打开欧了吗？然后去加载一下，这里要重启一下这个程序，然后再看模型选择，里面 最下面就已经有了已经安装好的，现在我们把这个模型对接到本地的小龙虾，只需要复制这个指令，打开终端，在终端里面运行，它就自动会加载好， 这里有不同的模型选择，都是他支持的一些免费的大模型，我们选择 demo 让他去运行。 ok， 这里已经加载好了，测试一下他的响应速度。 这里我是放了八倍速了，说实话，因为实在是太慢了，他平均回复一个问题的速度差不多要两分钟， 非常非常慢。我本来想在这个小龙虾里面测试一下他的执行任务的能力，但是这个速度的话确实没有办法， 但是它有个好处啊，如果你有低血压的话，你就可以用它。我是动物城朱迪警官，你好吗？我过得还好，不错，谢谢。这里我甚至尝试开启快速模式， 但是实际的感受没什么变化，就还是那么慢， 所以只能放弃在这里面做测试了。那么我们还是回到欧乐玛，在这个软件里面测试一下这个模型本来的能力。这里给他放两张图，让他识别一下图先， 一个是标格，一个是周杰伦，看一下他能不能准确的识别。 这里我也是开了倍速的啊，但是这里的速度要比小龙虾里面快很多， 我给他给出的答案是，图二是陈坤，图一是一名中国艺人， 看来这个版本的模型识图能力还是有点差。接下来测试一道经典的陷阱题啊，这个对大模型来讲是一道陷阱题，很多大模型都倒在了这道题上面， 那么他给的建议是走路去，最后测试一下他的复杂推理能力， 这道题是我让 gbt 五点四给我出的一道推理题。 abc 三人中恰好有一人是骗子，永远说假话，另外两人永远说真话。他们各自说了一句话， a 说 b 是 骗子， b 说 c 是 骗子， c 说 a 和 b 至少有一个是骗子， 请问谁是骗子？给出答案，并且给出完整的推理过程。好，他给出的推理过程和答案我跟 gpt 五点四给的标准答案对比了一下，是一样的， 所以它的复杂推理能力还是可以的。 ok， 总结一下实际体验感受啊，你如果是 mac mini m 四十六 g 版本，虽然能运行，但是它会把你的内存拉满，就是你的电脑会一直处于满负荷的状态，而且响应速度也很慢，所以使用感受是很差的。 当然，如果你的电脑配置足够高的话，你是可以去尝试部署在本地的，因为它的响应速度肯定要比我这个要快很多。而且你还可以尝试去部署它的满配版，比如三十 e b 那 个版本， 能力应该是要比这个强不少。