gemma4用Gpu还是CPU好

谷歌刚发布了王炸级别的开源大模型 g m 四，本视频将为你带来详细的评测。本次的 g m 四最大的杀手锏是彻底转向了 ipad 二点零纯开源协议，这意味着他终于解除了之前的法务紧箍咒，开发者可以闭眼商用。虽然三十一 d 模型在 reno ai 榜单上拿到了开源第三， 但回归到真实场景，它的表现其实是一把极其锋利的双刃剑，评价非常两极分化。首先看旗舰级的三十一 bance 模型，它的编程能力非常惊艳，实测写 html 界面，排版精美，在 levelbench 拿到了百分之八十的高分，达到了专业程序员的指令水平。 而且它的 token 效率极高，平均消耗只有 coin 三点五的百分之六十五，非常适合需要反复调用、在意成本的本地 agent 工作流。 但它的偏科非常严重，数学精度不足，简单的运算经常出错，尤其是在处理信息密度大的长文本时，很容易产生幻觉，而且在开启慢思考模式后，偶尔会陷入死循环，无法跳出。接下来是性价比极高的二十六 b m o e 模型， 这款模型是本地二十四 g 显存用户的福音，虽然总参数有二十五点二 b， 但推理时仅激活三点八 b 参数，这意味着你只需要十六到十八 g b 的 显存就能跑起四 b 的 量化版，而且速度极快，实测能达到每秒六十个 token， 非常适合那些需要塞入臃肿系统提示词的 a 帧子应用。不过这款模型的评价极其割裂，虽然有人觉得它实用，但也有开发者直言它在中文写作和逻辑推理上，灌水严重， 被戏称为数字干水制造器。最后是端侧的小杯模型 e 四 b 和 e 二 b。 它最大的亮点在于原声支持最高三十秒的音频输入，这意味着你不需要外挂 s r 语音转文字模型，英文转写效果几乎完美，是做本地语音助手的绝佳选择。但它的视觉能力简直是灾难， 面对简单的发票截图或手机截图，文字提取错漏百出，甚至连最简单的网页自动化操作第一步都会报错。在视觉理解这个维度上，它被 q n 三点五的九 b 模型按在地上摩擦。 那么在实际选择时，如果你需要构建本地的高频 agent 循环照用，且对 token 预算和响应延迟要求极高，那么二十六 b m o e 是 首选。 如果你想打造纯离线的语音交互设备，直接用 e 四 b 即可。当然，如果你最看重的是开源协议，需要变商用 jamas 的 pitch 二点零协议就是最大的优势。 相反，如果你需要一个强悍且稳定的综合小尺寸模型， q n 三点五的九 b 版本在综合能力上是碾压 e 四 b 的。 另外，如果你依赖高精度的数学计算 o c r 文字识别，并且要求极低的幻觉率，或者需要一个更成熟的生态和丰富的尺寸矩阵，那么 canon 三点五会是更稳妥的选择。在底层架构上，简码四引入了两项黑科技， 第一是 pl e 逐层嵌入，这是小模型专享的，它不再把所有信息在初识阶段一次性打包，而是在每一层都生成专属信号， 本质上是用额外的算力换取存储空间，增强表达力。第二是混合注意力机制，它采用了五层滑动窗口和一层全局注意力交替的结构，配合双 o p e 配置，直接将上下文处理能力拉升到了二五六 k。 针对硬件部署，这里给一套基于 ansel 和 m c p p 的 建议。如果你只有八 gb 显存，勉强能跑 e 二 b 或 e 四 b， 但只能做简单的摘药或语音识别，千万不要尝试复杂的视觉理解或长代码分析。二到十六 gb 显存是 e 四 b 的 舒适区， 也可以尝试二十六 b m o e 的 重读量化版。而如果你拥有二十四 g b 显存，强烈推荐跑二十六 b a 四 b m o e， 这是目前最有限势意义的型号，能同时兼顾二五六 k 的 长上下文和高效的吞吐量。 最后，分享两个长文本推理的闭坑技巧。如果你在进行存文字的长上下文推理，建议在辣妈 c p p 中直接关闭微震视觉功能，这样可以节约大量显存。 另外，面对复杂任务时，可以通过 a p i 动态调整 thinking budget， 也就是思考预算，防止模型陷入无限思考的死循环，导致机器直接卡死。

兄弟们，欧拉玛已经更新好了，杰玛斯的大模型也不朽完成了，一共四个模型，接下来挨个测试一下，所有的测试都是在这个电脑配置下完成的。第一个问题，介绍一下自己， 第二个问题，用李白的风格写一首 诗。 最后一个问题，经典的喜鹊问题 总结一下，四个模型都测了，最快的是一二 b， 最慢的是三十一 b， 四个模型第一次启动都有点慢，后续速度都还可以。 总的来说，回答质量最好的是三十一 b， 包括最后的一个洗车逻辑陷阱也自动识别出来了， 就是我这个配置运行起来实在是太慢太慢了，所以性价比最高的应该是这个二十六 b 模型。回答速度，回答质量都还可以，可以用在部署小龙虾，用来做个人的 a 键，挺好用的。后续再和千万三点五做个横向对比，记得点个关注。

很多人问我十六 g 显存为什么能跑 jam 四二十六 b， 现在我把我的设置教程发出来，我用的是 l m 塑镀，有上下纹，长度设为六十 k， gpu 卸载设为二十，剩下的三十层给 cpu 跑。另外 k 和 b 缓存一定要开启 q 八量化， 这么设置完显存占用基本在十二 g。 第一次设置的时候是十五 g， 但重启软件再加载就变成十二 g 了，显存还有四 g 剩余。咱们来看看速度。这里测试一个办公场景，发一张竖版流程图给 ai， 让它改成横版。注意看，这里全程无加速， 他直接给我生成了代码，没有任何废话，速度非常快。最后我用工具将代码解析成流程图，结果就是这样， 和原图对比一下，逻辑基本一致，确实非常厉害。

谷歌最新开源的大模型 demo four 据说很强，在综合能力上甚至超越了二十倍规模的开源模型。 今天教大家如何快速部署在本地，以及分享一下在 mac mini 上的实际体验感受，具体感受什么样？大家看视频吧。首先打开欧拉玛官网，下载它的应用程序， 打开应用程序，我们看一下他目前支持的一些免费的开源模型，还没有 demo， 所以 我们需要去他的官网再去下载下载到本地。那么这里呢，有很多不同的型号 可以看一下，它有很多不同参数的型号，有满配的，还有一些轻量版的。那因为我这个是 mac mini m 四十六 g 版本，所以我们就选择它系统默认推荐的这个九点六 g 的 好，只需要复制这个指令，然后打开终端运行，它就会自动去下载 这里下载了。那么我们先测试一下， 测试一下他的回复速度，因为是第一次响应，所以速度会有点慢，然后我们打开活动监视器，看一下他占据内存的情况， 这个模型本身就有实际系统走内存差不多也跑满了，这里他已经有回应了，我继续再测试一条， 第二次响应速度要比第一次快很多， 我叫 jam 四，我是一个由谷歌 deepmind 开发的。 ok， 现在我们打开欧了吗？然后去加载一下，这里要重启一下这个程序，然后再看模型选择，里面 最下面就已经有了已经安装好的，现在我们把这个模型对接到本地的小龙虾，只需要复制这个指令，打开终端，在终端里面运行，它就自动会加载好， 这里有不同的模型选择，都是他支持的一些免费的大模型，我们选择 demo 让他去运行。 ok， 这里已经加载好了，测试一下他的响应速度。 这里我是放了八倍速了，说实话，因为实在是太慢了，他平均回复一个问题的速度差不多要两分钟， 非常非常慢。我本来想在这个小龙虾里面测试一下他的执行任务的能力，但是这个速度的话确实没有办法， 但是它有个好处啊，如果你有低血压的话，你就可以用它。我是动物城朱迪警官，你好吗？我过得还好，不错，谢谢。这里我甚至尝试开启快速模式， 但是实际的感受没什么变化，就还是那么慢， 所以只能放弃在这里面做测试了。那么我们还是回到欧乐玛，在这个软件里面测试一下这个模型本来的能力。这里给他放两张图，让他识别一下图先， 一个是标格，一个是周杰伦，看一下他能不能准确的识别。 这里我也是开了倍速的啊，但是这里的速度要比小龙虾里面快很多， 我给他给出的答案是，图二是陈坤，图一是一名中国艺人， 看来这个版本的模型识图能力还是有点差。接下来测试一道经典的陷阱题啊，这个对大模型来讲是一道陷阱题，很多大模型都倒在了这道题上面， 那么他给的建议是走路去，最后测试一下他的复杂推理能力， 这道题是我让 gbt 五点四给我出的一道推理题。 abc 三人中恰好有一人是骗子，永远说假话，另外两人永远说真话。他们各自说了一句话， a 说 b 是 骗子， b 说 c 是 骗子， c 说 a 和 b 至少有一个是骗子， 请问谁是骗子？给出答案，并且给出完整的推理过程。好，他给出的推理过程和答案我跟 gpt 五点四给的标准答案对比了一下，是一样的， 所以它的复杂推理能力还是可以的。 ok， 总结一下实际体验感受啊，你如果是 mac mini m 四十六 g 版本，虽然能运行，但是它会把你的内存拉满，就是你的电脑会一直处于满负荷的状态，而且响应速度也很慢，所以使用感受是很差的。 当然，如果你的电脑配置足够高的话，你是可以去尝试部署在本地的，因为它的响应速度肯定要比我这个要快很多。而且你还可以尝试去部署它的满配版，比如三十 e b 那 个版本， 能力应该是要比这个强不少。

大家好，这两天杰纳斯啊，非常热，有人说他是一个开源模型的一个新王者啊，到底是不是呢？我们今天可以来测一下，刚好这两天有一个特别重重要的一个新闻，就是说，呃， 捷豹四呃跟卡布扣的，在这个奥拉玛这个角度上可以做一个无缝的集成，只需要两步操作，第一步就是你装奥拉玛，然后呢下捷豹四的最新的 efo， 比如说我的这个笔记本电脑，它是 rtx 四零六零的一个显卡，它有八 g 的 显存，我这个机器有十六 g 的 内存。 那么这时候呢，我们就可以下它一个 efo 的 一个模型，也就是捷豹四 efo 大 概九点六 g 下，下来以后呢， 然后用再装一个 cloud code， 你 可以用那个，比如说你去 windows 一下，你可以用它的 cloud shell 命令啊，一键安装，安装好以后，你你可以用这个奥拉玛的一个集成命令，把 cloud code 让他去用本地的杰纳斯 eiffelb 的 这个模型，那就这条命令， cloud cloud 杠杠 model。 杰纳斯，然后呢他会先去 下载这个模型啊，他发现我已经下载过了，所以马上就成功了，然后他马上呢去启动这个 cloud code， 然后让他去用这码四这个模型，然后他会问你几个问题，最后呢就是会让你信任这个当前的这个文件夹。好，我们现在已经到这了，我也是刚刚装好，我们来试一下， 请帮我写一个写一个 hello word 的 htm 页面，并在默认浏览器中打开。 好，我们看一下啊，它的这个怎么样？它现在用的就是我们的本地的杰纳斯 infob 的 这个模型小模型啊，然后我们看一下它的一个 gpu 的 一个利用率啊， gpu 一 现在有百分之九十六，那跑满了，你看到了是吧？ gpu 一 的这个利用率跑满了，我们看看它到底怎么样啊，哈哈， 它现在这个要显示 token 哦，出来了，大概花了不到两分钟吧。三分钟啊， and i will use the batch。 对， 它是先计划啊，然后 yes， ok， 那 现在 open yes， 继续 ok， require pool yes， 哦，打开了，看到吗？ hello， word this is the basic html page。 那 好，我们再让它做一个稍微难一点的，我说写一个最简单的贪吃蛇游戏，并在 切神浏览器中打开，我们看一下啊， 一起创建。 ok， 我 们这样好，打开了，就是贪吃蛇，我看一下啊，可以看能不能玩。 ok， 这个是最简单的，还没有碰到。这个还没有，还没有开始就结束啊，就是不是还没有开始就结束，这个人最简单，但是我们已经看出来这个杰马四啊，他的一些这个功能，我觉得就是他的这个编程的能力啊，我觉得还是可以的啊，因为我这个是小参数模型呃，你不能对他有太高的要求。 ok， 那 么我们今天用这个 cloud code 和 java 四 evo b 这个，呃，一块编代码的。这个游戏呢，我们就告一段落了，我觉得它还是有点用的啊，有些很简单的任务，我们是可以用本地模型的，这样的话也节省非常昂贵的云端 api talk 的 费用。好，谢谢大家。

这个 g m 四挺火的嘛，我看了下，我看它采用了这个全新的架构优化，意味着它的这个性能可以和一些币源的模型拼一下了。 我自己啊也部署了一个玩，我部署的这个是二十六笔了，这个东西啊，是真的吃配置，我本来想把它接入到 openclaw 里， 替换掉了我现在用的这个 deepsafe resnar， 因为我现在用的这个模型啊，不是多模态了，我给它还接了一个千万来专门识别视觉信息用。我本来这次想用这个 jimmy 四直接替代这个 deepsafe 和千万 jimmy 还是本地部属，以后也不用花钱复淘看了。但是这个二十六 b 这个版本 太吃配置了，我把它接到 open klo 里，每次一运行啊，要么就是过十分钟才能给我回复消息，要么就显存直接爆了，根本啊，什么都干不了。我的电脑是五零七零 type 的， 要本地玩大模型还是差了一些，我感觉最少这个得五零八零才能勉强接到龙虾里用， 要是想体验到丝滑一些的话，估计得五零九零。所以啊，我就把它对我来说啊，就是一个本地可以聊天的机器人，没有什么用。 嗯，不过这次这个杰玛斯的这个亮点是他的这个二 b 和四 b 版的，因为他呢，在一些配置比较低的电脑还有手机上，他可以本地部署。不过我感觉目前这两个版本本地部署下来对大部分人来说也没什么用， 最多就当个聊天机器人，感兴趣的朋友可以去尝试一下用。自己部署很简单，你去奥拉玛网站下载个这个奥拉玛，然后你把奥拉玛打开，然后再在你的终端就是那个黑窗口输入一段代码，就能部署好了，这代码你们可以随便弄个 ai， 很 简单的。好了，今天就录到这了。

酷狗发布的 jamax 家族这次把本地部署的门槛彻底拉低了，它包含了从高性能工作站到边缘 iot 设备的四款模型，不仅原生支持图文视频多模态理解，还拥有最高二五六 k 的 超长上下文。 最关键的是，全系全面转向了 h 二点零协议商用，完全没有后顾之忧。首先来看这个家族的扛把子三十一 b 电子版本，它采用全密集架构，三百一十亿参数在推理时全部激活， 这意味着它拥有该系列最强的逻辑能力和输出质量。如果你手里有八十 g 显存的 h 幺零零或者多张消费基显卡组基群，且对结果的精准度有极致要求，选这款就对了。 接下来是性价比最高的二十六 b m o e 版本，这里要重点解释一下混合专家架构的优势。虽然它的总餐数量有二十六 b， 但单次推理时系统只会激活其中三点八 b 的 参数，这种机制在保证智商的同时提高了每秒的吞吐量。 对于大多数本地桌面用户来说，这款模型在响应速度和性能之间达到了完美的平衡。针对手机和 l t 设备， google 推出了 e 四 b 和 e 二 b 两款端侧模型。这里引入了一个关键的 pl e 单层嵌入表技术，简单来说就是让大体级的磁表在查找时不全面参与常规计算，从而大幅降低内存占用。 一四 b 有 四点五 b 有 效参数，适合树莓派或 jason， 而一二 b 只有二点三 b 可以 直接跑在手机上，让端测 ai agent 成为可能。最后总结一下全系列的通用能力， 在上下文长度上，大模型支持二五六 k， 小 模型也达到了幺二八 k， 足以处理超长文档。再加上原生的图文视频理解能力，让它在实际应用场景中非常灵活。 在实际性能测试中， jam 四三十一币的表现非常强悍，尤其在 g p q a diamond 科学推理测试中，拿到了百分之八十五点七的高分， 但更核心的竞争力在于它的 token 效率。同样，一个任务竞品可能需要一百五十万个以上的 token 才能说清楚，而 jam 四只需要一百二十万个，这意味着它说话废话更少，逻辑更直接，在实际部署时能显著降低推理成本。 如果把它和国产明星 q n 三点五二十七 b 放在一起对比，你会发现一个有趣的现象，在一些细分的工具调用跑分上， q n 确实略占上风， 但在基于人类真实偏好的 rena a i yellow 评分中，两者几乎打平。这说明在实际的人机交互体感上， g m 四三十一 b 已经达到了顶尖水平。很多人好奇为什么价格没怎么变，性能却原地起飞？ 其实拆解底层代码会发现，它依然沿用了 paperstorm g q a 以及局部全局混合注意力机制。这次性能的飞跃完全不是靠改架构，而是归功于训练数据的质量飞跃和训练配方的深度优化。这再次证明了在当前大中型阶段，高质量的数据才是真正的核心竞争力。 现在进入实操环节，如果你追求极致简单，首选奥拉玛。首先把版本升级到零点二零以上，然后直接在终端输入命令，想要轻量化测试，就运行一二 b 版本。如果追求性能和速度的平衡，强烈推荐运行二十六 b 版本。 对于 macm 系列芯片用户， m l x 框架配合 turboq 是 史诗级加强，它通过压缩 kb 缓存，直接把内存占用，从十三点三 gb 砍到了四点九 gb， 整整节省了百分之六十三的空间。 具体的部署命令就在屏幕上，这里有一个关键的权衡，开启这个优化后，解码速度会慢一点五倍，但它能让你在 mac 上跑满幺二八 k 的 长上下文。对于处理长文档来说，这个招牌绝对稳赚不赔。 如果你是显存困难户或者即刻玩家，可以尝试 einslof 和拉玛 cpp， 只用 einslof 量化，只要六 gb 显存就能跑起一二 b 或一四 b， 甚至能构建支持网页搜索的本地 agent。 而如果你有三张四千零九十并行二十六 b m o e 版本的速度能达到惊人的每秒一百六十二个头啃。此外，通过实验性的 turbo quant plus 分 支，能把三十一 b 模型的体积从三十 g b 强行压到十八点九 g b， 让大模型在消费级显卡上跑起来。 最后是企业级生产环境，建议直接使用 v l l m， 它原生支持多模态输入和二五六 k 的 高吞吐量，并且完美兼容多卡并发。 开发者在实测中发现， v i l l l 搭配最新版的 transformers cool， 可以 非常稳定地调用 jam 四的工具接口，适合构建大规模的商业应用。在部署之前，有几个坑必须提前告知。首先是模态缺失，虽然官方宣传支持音频， 在目前音频输入请在 google ai studio 线上可用，所有的本地框架都还没适配。其次是稳定性问题，如果你使用 l m studio 运行三十一 bit n s 的 g g u f 版本，可能会遇到死循环输出的 bug， 建议等待社区修复。最后是能力边界，在处理复杂的函数调用时， e 二 b 和 e 四 b 这类小模型的表现不如同级别的竞品复杂任务建议直接上二十六 b 或三十一 b 版本。最后根据你的设备和需求 直接看这个部署。建议企业商用直接选 jam 四 high party 二点零协议让你没有任何法务后顾之忧。个人 pc 或游戏本用户强烈推荐二十六 b m o e 版本，单卡四千零九十就能跑通超长上下文，且响应极快。 mac 开发者请认准 mlx 框架，记得开启 turboqant 来解放统一内存。至于 i o t 创客 e 二 b 和 e 四 b 证明了六 gb 内存也能跑起。智能 agent 是 端侧智能的最佳选择。

一分钟让你搞清楚关于全球最强开源模型 jam 的 一切。最近谷歌开源了 jam 四，我将用四个问题 让你清晰了解关于 jam 的 一切。 jam 各版本的区别，我家的电脑能用吗？模型怎么部署安装？普通人用来干什么？先说他的四个版本，三一 b 直接冲上全球开源 ai 榜第三名，以前要机房才能跑的能力，现在你家里的高端游戏显卡就能搞定。 轻量版的一二 b 和一四 b 为手机、平板以及中低端电脑设备打造，性能虽不是最顶级，但是绝对好用够用。而二六 b 猫号称总参数两百六十亿，但实际每次思考只用其中三十八亿个，最相关的效果却能媲美两百六十亿， 能理解超长文章以及视频。简单说，无论你是用手机、笔记本还是高性能电脑， jam 四都能给你免费安全强大的顶级模型体验。再说你家里的设备是否能用上？一张图告诉你 jam 四个版本的最低要求。 对于多数人而言，家用的电脑设部署一二 b 一 四 b 完全够用，基本能满足百分之九十的使用场景。另外两个版本对内存要求较高，但是性能出众，属于好马配好鞍。 再说模型安装，整个过程大概十分钟左右。首先下载 lm studio， 然后打开 opencool 或者 id 工具，让它查找你本地配置，给你推荐安装哪个版本。之后在 lm studio 里下载，运行搜索推荐的模型名点下载，最后接入 opencool 或者 i d e l m studio， 提供 open ai 兼容 api， 在 open 框里把 api 地址改成， h t t p l o c a o s t colon twelve three four slash vivo 就 能用 jama 四驱动你的 ai agent 了。 网上攻略一大堆，这里就不展开了。最后说下所有人最关心的能用 jama 做什么？这里推荐三个场景，可以去试试。第一， 构建本地知识库，把工作和学习相关的文件丢给本地 jama， 让他帮你形成系统化的知识。构建个人知识库时进行向量缩影和 anitive， 解锁数据不出本地，安全合规。第二，给家人搭建一个 ai 助手，下载好模型，配个界面，电脑手机都可以直接对话，不花钱不泄露隐私。第三，内容创作 最大优点是无限额度，即便不如部分付费模型，但可以靠大量尝试提升优质内容的概率。千马寺会改写国内企业及政府客户的私部模型格局吗？欢迎在评论区发表你的观点。

昨天，谷歌发布了迄今为止最强大的 gemma 四本地大模型系列，让众多本地 l l m 爱好者欣喜若狂。 特别令人兴奋的是， gemma 四基于 gemini 三技术开发，根据公布的基准测试结果，其性能甚至超越了规模高达其二十倍的竞争对手。但抛开所有技术细节这些，我稍后会讲到。此次发布中最引人注目的它是 apache 二点零。 看起来谷歌终于听起了开元社区的呼声。如今， game 四已完全开放，允许商用的 app 二点零许可证发布了。 这意味着你可以用这个模型做几乎你想做的任何事情，完全自由，不受公司绑定，对您的数据和产品拥有绝对控制权。今天我要在我的笔记本上安装并测试这个模型，可能还会在台式机上试一下，看看它是否足够好，能作为我的主要本地模型使用。 但有个重要说明，我不是想用这个替代付费模型。我把詹姆斯视为对付费模型的补充，适用于不太复杂的任务，或我不希望数据离开本机的情形。嗨，我是 nick， 从事软件开发已超过二十年， 在这个频道，我分享自己在 it 领域的经验、见解与思考。所以，为了今天在我的电脑上运行 jm 四，我将使用 lm studio。 如果你还没用过这个工具，看看我频道上的视频，里面解释了这是什么，以及如何使用它。 好的，首先，我会尝试在我的 macbook 上安装这个模型，因为正如我所说，我希望它能随时可用。不幸的是，我的 macbook 只有二十四 gb 内存，所以我会在那里安装一个较小版本的模型，参数规模为两百六十亿或三百一十亿的更大变体，我将安装在台式机上。 该模型有多个量化版本可供选择，我就选最大的那个，毕竟大小差异不大，但输出质量应该更好。 模型下载期间，让我先回顾一下谷歌在公告中强调的几个关键特性。首先，这些模型在设计之初就考虑到了基于智能体的工作流，他们原声支持函数调用，并能生成干净的结构化 g s o n。 第二，所有版本都是多模态的， 他们能处理图像和视频，而较小的模型一二 b 和一四 b 甚至拥有原声音频支持，这意味着他们可以直接理解语音。 第三，这些模型配备上下文窗口，小版本为十二万八千个 token， 大 版本则为二十五万六千个 token， 这应能让他们胜任大型代码库的处理。不过这一点还有待我们测试验证。 最后，作为一个不错的额外福利，这些模型支持多种语言。好了，模型下载完成了，让我们把它加载到内存里，我们也快速检查一下参数。正如我所说，我下载了八位量化版本，架构当然是 gemma 四。最重要的是该模型支持工具和图像输入。 正如你所见，这个模型拥有七十五亿参数，但只有四十亿有效参数，这应该能带来更好的性能。上下文窗口已设置为最大值幺二八零零零头啃，这很棒。好的切换到聊天界面，让我们确认已加载并激活正确的模型。 顺便提一下， lm studio 在 这里显示了一些有趣的信息，比如模型加载后实际占用了多少内存？正如你所见，对我来说大约是十二 gb。 在 聊天底部，你还可以看到在使用模型时可用的工具。 好的模型已成功加载，我们来测试一下它到底行不行。为此，我会在新的聊天中发送一个简单的提示。首先，我会让它完成一项相当简单的任务，编辑一个 python 函数，按两个键对字典列表进行排序。 这是我用来测试每个模型的标准化提示词。这相当基础，所以任何模型都应该能搞定。但这里的目的是验证模型是否正常工作，并看看他在我的硬件上想拥有多快。 我会加快视频中回答生成的速度，因为生成完整答案可能需要一些时间。但最后我会分享总耗时，这样你就能估算他在你的机器上跑的多快。 所以模型耗时不到一分钟。精确来说是四十九秒，平均速度约为每秒三十一个 token， 启动响应的延迟约四点五秒。 老师说这是个相当不错的结果。提醒你一下，我是在配备二十四 gb 内存和 m 四 pro 芯片的 macbook 上运行这个。现在我们来测试一下詹姆士处理图像的效果，看看他是否能真正理解图中的内容。 我会上传一张图片到聊天中，然后让模型描述他看到了什么。这是照片。如你所见，我拍了一张书桌的照片，上面有四样东西，键盘、 kindle、 鼠标和一支笔。让我们看看 gemma 能认出其中多少个 好的模型已完成图像分析。正如你所见，它成功识别出了键盘和鼠标。它还识别出了 kindle， 甚至描述了表面和光照情况。然而它没注意到那只笔。但说实话，这没什么大不了的，重要的是它捕捉到了整体场景，并正确识别出了大部分主要物体。 好的，现在轮到测试更大的模型了。为此，我将使用我的台式机快速介绍一下。我将运行 jam 四两百六十亿参数版本的机器配置。 它配备 amd ryzen 七处理器，一百二十八 gb 内存以及带有十六 gb 显存的 gforce rtx 四零六零钛显卡。好了，模型已启动并运行。让我们给它在 macbook 上执行和小模型相同的任务。 编写一个 python 函数来对字典列表进行排序。这将帮助我对比 jam 四第二十六版在我的台式机上的性能。在此，我会加速生成过程，但稍后会分享总耗时。 在生成回复的同时，看看系统覆盖。右上角我运行的是 mv top， 我 用它来监控 gpu 使用情况。深黄色线条显示显存使用情况，浅蓝色线条显示 gpu 利用率。右下角我运行了 hto p 来监控 cpu 覆盖和内存使用情况。 这两个工具都是免费且开源的。由于完整的 jam 四模型无法完全放入我的显存，因此它严重依赖 cpu 和系统视频内存。但这并不是真正的问题，关键在于响应速度是否可接受。 好了，模型已完成响应生成耗时一分三秒，比小模型稍慢一些，每秒 token 数也显著更低。正如你所见，它大约是每秒十二个 token， 那 比小模型慢了将近三倍。但这并非公平的直面对比。 由于这些模型的能力差异很大，不过现在我对这台电脑上这个模型的预期有了清晰的了解。顺便提一句，这台台式机运行的是 linux 系统，我偶尔用它来做些项目，但我很少把它当做传统台式机用。它主要是一台高性能服务器。 由于它连接到了我的家庭网络，当我需要时，通常可以从任何其他电脑通过 s s h 访问它。我用来与一切交互的主机依然是我的 macbook， 而且好处是你并不需要太多设置就能让它跑起来。厅 l m studio 已经内置了一个可以通过网络访问的 api。 好的，现在让我们切回 macbook， 给模型布置一个更有挑战性的任务。如果你看过我之前测试千三点五和千 code next 的 视频，可能会记得，我准备了一个任务文件，让模型去可示化一个排序算法。 今天让我们给 jama 司同一个任务。在生成回复的过程中，我再给你们看看系统赋载。这和以前差不多， 几乎所有 cpu 核心都已满载，现存也达到极限。好的模型完成了。正如所要求的，它生成了一个可示化排序过程的 html 文件。让我们看看。乍一看，一切看起来都正确无误。我没看出什么明显问题， 现在我要在浏览器中打开它，看看最终效果。哦，这看起来相当不错，它甚至使用了自定义字体，让我试着运行一下。没错，一切正常，速度滑快，可实时更新。动画 不错，总体而言非常扎实。所以今天测试完 demo 四系列后，我可以肯定的说，这些模型真的很棒，我肯定会经常使用它们。 但再次强调，为了明确起见，我并非打算用这个来替代付费模型，我把 demo 四视为付费模型的补充，适用于简单任务或我不希望数据离开本期的情形是，好了，今天就到这里，如果你喜欢这个视频，别忘了点赞订阅，以免错过下一个，回头见。保证。

hello， 大家好，我是 ken， 今天早上刚刚打开手机，我就兴奋的睡不着了。 google 刚刚发布了伽马四，一个可以本地部署的大模型，我的第一个念头是省钱了， 如果把它接入 openclaw， 从此在本地生产 token， 那 是不是就可以不用再被云端 ipi 一 点一点计废了呢？然后我花了一整天的时间来验证这个想法，结论有点出乎意料。先听我说完， 我在本地部署的是二十六 b 混合专家模型，二十六 b 代表着他拥有二百六十亿的参数。 混合专家模型的意思是，他不会一次性把所有的参数都用上，而是根据你的指令调动一小部分的专家来进行回答。这样的好处是推理的成本更低，回答的速度也更快。 这个版本在二十六 g 内存的 m 五芯片 macbook 上刚好能跑。这里 jam 四的几个版本呢？我也简单的跟大家分享一下。最轻量的是 e 二 b， 一个二十亿参数的模型，它在市面上大部分的设备上都可以运行。 那么 e 四 b 呢，是一个四十亿模型，运行它呢至少需要有十六 gb 的 内存。蓝血版是三十一 b， 拥有三百一十亿的参数能力最强，但是目前我手头的设备呢，都没有办法运行。目测 如果说要跑三十一 b 的 模型的话，至少需要三十六 g 的 内存。以我这一个月以来把所有的大模型接入到 openclaw 的 体感来看呢，二十六 b 版本我再应用下来，我认为它称日常工作是完全没有问题的。 截止到这里，一切都让我很兴奋。在 macbook 本地上跑通以后，我迫不及待的把它接入了 openclaw。 和我之前用其他大模型接入的体验不同， jam 四在接入以后没有那个互相了解定义角色的初识化环节，不过正常对话是没有问题的。那么问题来了，他能做些什么？说实话，就是个聊天机器人， 连在桌面创建一个 word 文档都做不到，更别谈生产力了。如果只把它看作是一个聊天机器人的话，那么在欧莱玛中直接运行反而比嵌入到 open cloud 中要更快，所以呢，还不如不用。 然后我掏出了我二零一七年的 windows 老本，这台机器呢，有十六 g 内存，按照 ai 的 建议，分别部署了 e 二 b 和 e 四 b 两个版本的模型。单独跑模型的话， e 四 b 这个四十亿参数的版本呢，每个回答要等待时间在十秒以上。那么 e 二 b 这个二十亿参数的小轻量级版本呢？如果是处理简单问题，基本上可以做到秒问秒答。 但当我把他们接入到 openclaw 之后呢，连收到两个字都没有办法回复，不管哪个版本，通通卡死。所以结论很明确，内存不够的设备不要尝试把 jam 四接入到 openclaw， 硬件是硬门槛，绕不过去。 总结一下今天的折腾，二十六 g 内存的 macbook 可以 本地运行，二十六 b 混合专家模型接入 openclaw 也能正常对话，但完全没有超出聊天机器人的额外生产力。 十六 g 内存的 windows 老本呢，接入 openclaw 可以 说是失败的，那么如果在本地运行呢？一二 b 和一四 b 两个版本都可以作为聊天问答机器人来进行本地使用。 我的判断是，如果内存能够达到三十六 g 以上，能够完整的跑下来二十六 b 混合专家模型，那么也许真的可以变为生产力。但是限阶段大多数人的设备都没有达到这个门槛。 本地部署不是不值得探索，但是要先看看自己的硬件设备有没有达到那个门槛，再决定要不要去折腾，不然的话结果可能会很打消你的积极性。 我是 ken， 专注用 ai 做可持续相关工作流的自动化。如果你对 ai 工具和自然语言编程感兴趣，请关注我，我们下期见。

大家好，今天来给大家实测一下，把 jam 四部署到手机上，到底能实现些什么？视频内容有点多，感兴趣的可以慢慢看完。首先是 ai 聊天，我先把手机切到飞行模式，全程离线使用，可以看到我问他能做什么，他回复的很流畅，反应速度也很快，注意回复这里我全程无加速。 然后是图片识别功能，我随手拍一张照片，问他看到了什么，他能很精准的识别出画面里的细节，解析的特别清楚。还有这个手机指令控制，我直接语音说在地图里找到北京，他立刻就能理解我的意思，自动打开地图应用。虽然现在没网加载不出来， 但整个指令识别和调用应用的过程都是在本地完成的，体验很惊艳。唯一不足的是他听不懂中文，只能英文沟通。还有这个小花园互动游戏， 我说在八号坑种植物，它就能听懂并执行操作说明模型，对自然语言的理解和交互能力都很强。这里依旧听不懂中文，只能英文沟通。最后是提示词工具箱，不管是改写文案、总结文本，还是写代码， 离线状态下都能直接生成，非常方便。整体体验下来， jam 四把 ai 能力真正做到了手机端本地化，不用联网，隐私性更好，功能也足够实用，未来手机端 ai 的 体验真的会越来越强。

哈喽，大家好，酷狗前两天刚刚发布了最新的大模型 gm 四，这个大模型它是完全的开源和免费的，能够在本地的设备上离线运行，我用了这几天，我觉得这才是二零二六年最合理的 ai 技术路线。 真正值得关注的是，呃，他的这个原声支持函数调用，这就意味着这个模型能够自主的使用工具，浏览网页，执行代码，调用 ipa， 相当于你在本地安装了一个智能体，全程也不用联网，也不用花钱，完全可以调用本地的算理。但是呢，很多人都不知道怎么使用，所以今天跟大家分享一下专门四的使用。专门四分别有四个不同的版本，分别是 e 二 b 四、 b 二十六 b a 四 b 和三十一 b。 这些模型大小各异，可以部署在手机、电脑和云端的服务器中，它非常适合文本的生成、编码和独立任务。这张图片呢，是谷歌官方的一个，相当于是个测评吧， 不同大模型之间的一个测评。我们可以看到这几个都是市面上比较好用的大模型，嗯，包括我们国产的 d c 克千万和 kimi， 还有那个 g p t， 我 们可以看到这是它们之间的那个性能的一个对比吧。嗯， nice 区域，我们可以看到这个是 g m 四，在我们传统的认知里，模型越大，参数越多， 它的性能就越强。在途中我们可以看到 g m 四的这个三十一 b 的 这个模型，在实战能力上竟然超越了千万的三点五，因为三十一 b 它只有 三百一十亿的这个参数。千位三点五呢，它有将近四千亿的参数，这两者之间的这个体积相差了十倍，所以呢，你可以看出这面四就是用十分之一的体积跑出了十倍体积的对手，那这就意味着你不需要再付 报的这个服务器的费，你在自己的电脑上，手机上就能够拥有世界最顶级的这个 ai 大 脑。然后我们看一下这四个版本的功能吧， 以及定位。三十一 b 被称为是全能大脑，它可以处理任何的这个你所想要的执行的一些任务吧，它的定位呢，也是非常的明确，是最顶级的一个型号，擅长呢查某某的创作以及 深度的逻辑推理，它就像人类的思考会给你列出这个提纲一样，然后排查啊错误，然后再输出， 所以他非常擅长于这个深度的长文写作。那么第二个是二十六 b 的， 这个被称为效率之王，它的定位就是相对于上一个呢，它是一个平衡的版本，那么它的功能是保持在极高的智商的，同时呢，响应呢，要比三十一 b 更快， 所以呢，它适合于这个频繁的互动啊，快速的迭代的创意的这种工作。那么第三个和第四个是一四币和一二币，这两个呢被称为侧端的，先分我们，我我认为的就是说它是一个轻量化的模型，它只有四十亿和二十亿的一个参数，所以呢， 呃，它的这个体积相对也比较小，但是呢，虽然说它的体积比较小，但是可以通过这个 single 的 强化处理一些日常的对话呀，这个日常的整理，呃，简单的，这样还是非常的流畅的， 我们可以看到这是专门四网页端的一个界面，其实我这两天用的，用下来，我觉得他的这个云端的和网页端的这个使用其实是非常的非常的好给我的体验。因为普通人说实话你的电脑可能 配置没有那么高，所以你装了最高的那个等级的那个模型，你使用起来你的电脑可能就会如果说你的性能不够的话，你的电脑就会起飞的。所以我建议啊，就是如果说你不是做一些特殊的一些任务的话， 我建议直接用网页版的是最靠谱的。那电脑端有 pc 和 mac 的， 它的一个好处我刚刚讲了，就是直接在本地运行，断网也可以使用，最大的一个好处就是它是保护隐私的，不用担心你的文件或者说是你的信息隐私会被泄露，因为断网也可以使用，我觉得啊，是 这么的一个最大最大的一个特点。那么另外就是它的手机端是苹果和安卓系统都可以用啊，因为手机的内存是有限的， 所以呢我的建议就说如果是你非要在手机上装这个，我建议就是用的轻量化的这个版本的，否则的话你的手机肯定会发烫，它运行起来 特别的耗费你的本地的这个手机的一个算力的。所以最最第三个就是云端的，我是最推荐的这个直接再往月端调，而且你可以直接用免费的算力，因为使用也是免费的，你往月半使用也是免，不像其他的一些大毛器，你用着用他就没法用了，他就你的这个免费的额度，用完了 不让不让你用了。但是 gm 四它是无限使用的，目前来说是免费使用的，所以的话呢，大家如果说是想用的话，尽快用起来，我觉得是非常好的一个大冒险。大家如果说有其他的问题，我们在留言区可以互动一下，有什么问题可以直接问我哈。

谷歌 jam 四二十六 b 对 决阿里千万三点五，二十七 b 参数相近，但架构完全不同，性能差距让人惊讶， 最大区别在架构， jam 四是某混合专家推理时只激活三点八 b 参数，十六 g 显存搞定，千万三点五是 dance 全量推理，二十七 b 全部激活，双卡四千零九十都不够。 综合知识和科学推理方面，千问三点五更强。 m m l u pro 百分之八十六点一 g p q a diamond 百分之八十五点五，两项都领先 jama 四约一个百分点。 编程能力， jama 四碾压 cold forces 算法竞赛 e l o 得分两千一百五十，千问三点五之有一千八百九十九，差了整整二百五十一分，相当于前百分之五对前百分之二十。 超长上下文，千问三点五完胜一百万 token 对 比 jama 四的二十五点六万，处理整个代码库和超长文档，千问三点五更合适。 多模态能力， jama 四独家优势，不仅支持图片，还支持视频和音频输入，千问三点五之有图片做多模态应用首选 jama 四。 结论来了，硬件有限，需要视频理解，做算法编程就选 jam 四，需要处理超长文档，复杂 agent 任务工具调用就选千问三点五。关注我，下期继续硬核横评。

想跑肩马仕到底需要多大显存？今天一次讲清楚四个版本，逐个对比， 先看四个版本的显存需求， e 二 b 最小 q 四量化只要二 g 手机都能跑 e 四 b 需要五 g， 普通笔记本就行。二十六 b m o e 版要十八 g 需要 r t x 四零九零 三十一 b 最大，二十 g 起步需要 rtx 五零九零或者多卡 量化很关键。以三十一 b 为例，全精度 bf 十六要六十二 g 显存， q 八量化，三十四 g q 四量化只要二十 g q 四比全金度省了百分之六十八的显存效果，几乎没差别，所以强烈建议用 q 四量化， 推荐配置 e 二 b 和 e 四 b 用 rtx 四零六零八 g 就 够，性价比最高。 二十六 b 用 rtx 四零九零二四 g 刚好。三十一 b 需要 rtx 五零九零三二 g 或者双四零九零。 如果预算有限，二十六 b m o e 版最划算，只有四 b 参数活跃，推理速度接近小模型。 总结， e 二 b 手机就能跑， e 四 b 笔记本，二十六 b 需要四零九零三十一 b 需要五零九零 q 四量化省百分之六十八，显存效果不打折， 根据你的显卡选版本就行，评论区告诉我你的显卡型号。