hi, max 丢丢 m 五到到家了,我来开箱 看一看是个什么样的, 这里有个提手 苹果是从这里开的。 暴力拆碗 好出来了,这个就是我们的 max 丢丢啊, 好了,这盒子就不要了,这个是电源线, 电源线, 然后呢,这是我们的机器,就这个玩意据说可以跑大模型。 好,最后完整的看一下四面啊,这是正面,这是背面啊,这个机器 max 丢丢 m 五, 马上开机试一下。哈喽,经过了两天的奋战,我把这个 max 丢丢 装好了,包括全新安装,所有的软件,所有的呃呃, wifi, 所有的这个呃 app 全部装上了,现在他能够正常的使用了啊,这是一个 m 五芯片的 max 九九, 装了六十四 g 内存和一个 tb 的 硬盘啊,我想用它来运行大模型啊。现在是这个 ai 时代,所以说砸了差不多三万块钱买了这么一个设备。
粉丝339获赞1.1万

各位小伙伴大家好,今天我们来看一下 m 三 ultra 九十六 g 统一内存的 max studio, 苹果工作站实际跑大模型的效果如何?看了很多其他朋友的评测,大部分都在测试,一个聊天对话与实际工作场景是不匹配的。 希望通过本次的测试,让大家对苹果 max studio 部署本地大模型并投入实际应用有个直观的了解。这台设备是三万多块钱买了一个九十六 g 的 版本,现在官网上已经定不到更大内存的版本了,这是目前的唯一选择。 本来之前是希望等 m 五 max 一 百二十八 g 版本的,结果六月九日 w w d c 没有发布,所以只有用 m 三 ultra 九十六 g 来进行测试。首先看一下我们的配置, m 三 ultra 九十六 gb, 因为之前网上有很多人跑大模型,装的是欧拉玛,那效率实际是很差的。 这次我们主要是用 mlx 框架,用的是一个叫 omlx 的 软件,它有图形化的界面,使用起来虽不如欧拉玛便利,稍微熟悉一下也能够快速上手。 现在它已经启动了,我们来看一下它的设置,这里可以看到模型的列表,为了快速给大家进行演示,我之前就已经下载了很多的模型。首先是 jam 系列,一个是二十六 b 的 m o e 模型,它每次激活量是四 b, 另一个是三十一 b 的 稠密模型。 然后这里还装了一个智普 g l m 四点七 flash 的 m l x 版本。千问系列应该是用的最多的,最大的模型是千问三点五的 e 二二 b a 十 b, 这是一个 m o e 模型, 总共一千二百二十亿的餐数量,每次激活是一百亿。然后是一个二十七币的筹密模型,一个三十五币的稀疏模型,每次激活的餐数量是三币。还有一个无审查的模型,这个具体就不展开说他怎么用了。我们大部分人用本地模型,主要是用来做一些编码的工作,实际上真的跟他聊天对话的可能不太多,我们本次也演示一下, 来看一下不同模型聊天的效果,但这种方式不适合用于工作,还请各位小伙伴注意,因为训练这些模型的知识都已经淘汰了。 首先看 jam 四 b 模型, o m l x 正在把模型加载到内存,你可以看到很快它就开始在工作了。可以看出这次回答的超级简单, 每次模型加载了过后,我们在仪表盘里面就可以看到当前是什么模型,它的占用量是怎么样的。可以看到刚才的生成速度是六百零五个透坑每秒,这个速度足以和云端模型进行媲美。再来一个问题,你能做些什么?你看非常快,基本上是秒回答。 然后来试一下三十一 b 筹密模型的速度。让我们提出问题,你是一个什么模型?可以看到模型首次加载还是需要一些时间的,接下来我们要做的就是默默等待它加载完成。很快它就给出了答案,我是由 google 训练的模型,这个答案几乎是秒出。让我们再来提另外一个问题,你能做些什么? 它的出使输出速度相对来说比 m o e 模型要慢一些,但基本上这个数字也是属于一个能用的水平。 从 o m l x 的 聊天界面可以看到,这个回答总体的速度是差不多三十个 token 每秒,给我感觉是非常流畅的,它还在持续输出回答内容。从这个答案来看,它对中文的理解还是不错的,回答也比较详细。作为一个国外训练的多模态大模型,不知道你怎么看? 我感觉还是符合我对它的期待的。接下来试一下智普 glm 四点七的 flash 模型。让我们提出同样的问题,你是什么模型?页面上的 loading 代表正在加载模型到统一内存,让我们稍后片刻出现 thinking, 就 表示模型已经加载完毕,即将开始进行推理,这个速度也蛮快的。 好,让我们来提出同样的问题,你能做些什么?对于刚刚已经成功加载并且运行过一次的模型来说,这种简单问题它立马就能够做出迅速的回应。 重点来了,我们来测一下千万的本地模型。千万应该是对中文支持最友好的模型,它在通用知识、图像识别、编码等各方面能力最为均衡,应该是本地部署大模型的 b 选项。我们首先来测最大的千万三点二幺二二 b a 十 b 这个模型,它是个一个专家模型,总餐数量达到了一千二百二十亿, 每次激活一百亿,是大部分人本地部署的最佳选择。它的加载速度相对来说会比较慢一些,因为这个模型的体量相对来说比较大。看加载成功了,现在开始在思考了, 其实九十六 g 跑这个一百二十二 b 的 模型其实不太友好,然后你可以看到这个速度也不是太快,整个系统的负荷相对来说也会比较重,每秒五个 token 的 话,这个确实是有比较大的问题,基本上处于一个没办法使用的状态。 难道是因为我更新了 macos 二十七的原因?之前在 macos 二十六的时候,我实测下来是能达到二十 tokens 每秒,可能是目前的 macos 是 第一个预览版的原因,可能优化还不到到位的性能比起之前有大幅的下降,我感觉这个速度不太理想。等一下我们在 hermes 里面再实地测一下,看一下这个模型的使用感受到底是怎么。 由于这个模型速度实在太慢,我们先暂停测试,我还是赶紧把这个模型先卸载掉,卸载掉我们测一下其他的模型,现在测的是最新的千万三点六的二十七 b 的 稠密模型, 现在正在开始加载每秒的这类模型,它整体的速度肯定比 mo 模型要慢一些,但总体来说这种级别的模型是属于一个能用的状态。 同样的问题他正在进行推理,让我们耐心等待一下,因为目前的测试只是给大家看一下模型到底能不能用。为了不耽误大家宝贵的时间,他思考的过程我们采用快进的方式处理, 和云端大模型相比,确实他的预处理时间要长的多,毕竟你不能用一台价值三万元的迷你工作站去跟上百万元的专业计算服务器去比。 看到这个稠密模型的话是每秒三十六点九个 token, 要使用的话应该也没什么问题。重点来了,这是我们的千问三点六的三十五 b a 三 b 模型, 这个应该是每个本地部大模型的 b 选项,在其他媒体的测试中,它各方面能力甚至碾压了七十 b 左右的上一代稠密,所以我本次测试没有选择七十 b 左右的中等体积模型。不得不感叹 ai 技术在进步,模型体积也越来越小,让越来越多有需要本地部署大模型的朋友能够触碰到更先进的模型。 你看这个 token 数量达到了三十四个 token 每秒,这个是答案秒出来的速度。非常之聊天的话,因为刚才也提到这个东西,知识库会比较老,实际上没人会这样使用。纯聊天的话,我更推荐豆包、元宝和千问 app, 它的知识都是最新的,还能够联网搜索。 为了更好地看到本地部署大模型在实际工作中的体验,我们采用 hermscep 这个桌面智能体,它能够根据我们的任务要求,自动取互联网、解锁信息、整理文档、置顶工作计划等等。 你要做的就是思考到底需要他做些什么,提出要求就等他把结果反馈出来就好。 hermes 的 模型列表在界面的右下角,可以根据需要进行切换。为了方便区分不同模型的产出物,我们分别为每个模型的工作区建立一个目录,模型工作时产生的文件都会存放在这里。 在实际的工作中,我们也应该这样,先建好工作区再开始工作。好了, james 的 目录已经建好了,我们先在 hermes 界面里把第一个任务的工作区设置为刚才新建的目录,然后让我们先一并把 g、 l、 m 和千万的目录都建好,后面我们就好专心去做测试,不用再来回切换, 让我们继续完成所有模型工作区目录的创建。最后是 qn 的 目录,我个人有点强迫症,喜欢桌面上的图标都是整整齐齐的,请大家见谅。让我们回到 hermes 的 界面,选择 gm 四三一 b 模型,开始今天的第一个实战测试。还是同样的问题,来问一下你是什么模型? 然后我们可以看到选中的模型已经加载到内存中了。 max studio 有 超过七千兆密每秒的磁盘读写速度,加载一个二十 g 左右的大模型,速度非常快。模型加载完毕后开始进行推理,也就是思考你所提出的问题,并做出相应的回答。这个等待的时间还是有点长,我们用十倍的速度快进, 为了我们直观的看到它的一个运行状态,我之前装了一个 a s i t o p 这个工具就能够把 cpu、 gpu 的 实时状态、功耗等数据直观显示出来,你可以通过图形就能知道 mac studio 有 没有在努力工作。这个工具目前需要通过命令行的方式来启动,一旦使用过一次过后,其实还算是比较简单, 输入完成速度的密码后,很快就能看到结果了。这这次回答了这么半天,就这么一句话吗?看到 hermes 已经输出了答案了,就这么一段话吗?我们可以看到刚才这个答案的输出速度来到了二十七个 token 每秒,刚才画面闪了一下数字掉到了四个 token, 这个应该是 bug, 不 用去管它。 然后我给他布置一个任务,我准备写一篇关于安岳石窟的艺术水平的论文,我需要他先帮我写出整个的编写计划,我们直接把要求通过聊天的方式发给 hermes, 我 给他提要求来帮我写出这个论文初稿用 markdown 格式,两万字,最后再提个要求,在文章开头要注明是使用的什么大模型, 方便我们把文章内容和哪个模型写的一一对应。 好了问题提完,模型开始了思考,因为目前问题还比较简单,上下午也不长,应该很快就能给出答案。 我们可以看到 hermes 开始输出内容,一行一行地输出。他给的答案是,第一步要进行准备与调研,这个工作包括了要去做文献收集、实地资料采集,建立核心论点。 第二步是做论文结构规划,包括论文的结构。他给出了总分总的建议,包括引言安乐时刻的艺术形式分析 艺术风格与演变背后的文化内涵。最后是结论, 紧接着是第三步,写作执行,主要是讲的如何开展写作工作,以及每个部分所需要的时间。 第四步是对论文和进行完善与润色。写的其实还是蛮有指导意义的,你看它还在最后面加了一个建议,有时候感觉真的像一个论文指导老师在跟你说话。 其实用 ai 来做一些基础性的文字工作是非常有价值的应用场景,你可以留出更多的时间去思考。我们可以看到编辑任务分解已经完成,这时候我们来提个要求,编写为一个完整的 markdown 文档,不低于两万字 模型开始推理,让我们等它自己生成内容。稍等一下,我们追加一个要求,在开头要写上是用的什么大模型来写作的,以方便后面我们用来对不同的文章进行评分。 从 o m l x 仪表盘可以看到,它开始工作了。让我们切换到 a s i t o p 的 界面,看看实际系统资源使用的情况。不好,看上去 a s i t o p 工具又出现了问题,意外推出了。看来想要稳定工作,还是不要着急,去更新一些最新的预览版系统,可能这个系统更适合于开发者。 让我们关掉终端窗口,回到 hermes 的 界面,它已经在开始干活了。大家应该也对生成速度有个大致的了解。这个部分我就快进了, 可能是我的提示词给的不太准确吧,他又重新写了一遍大纲,我来重新提要求。现在的 ai 就是 这样,你需要跟他不断的对话,让他掌握的习惯,这样才能更容易给出满足符合你预期的答案。 我让他给我按章节写出全书,并且不要再询问我了,看看这次他能否正确地去执行我的指令。我们看到他又开始在论文里面写论文,这就意味着他不会把内容写到 markdown 文档里面。 所以野生 ai 驯服起来还是需要一点耐心的。究其原因,还是这种二十到三十 b 左右模型,刚好是触摸到了劳动力工具的入门线,真正干起活来还是跟云端大模型有蛮大差距的。 刚开始的时候还是得有耐心,让我来再次重新提出写成 markdown 文档的需求,同时指定要放到项目文件夹里,提示词越清晰, ai 干起活来更接近你的意图。 好了,让我们继续等待他这次又会给出什么样的答案吧。 我们再试一下 asipop 能否正常使用,如果还是异常,我就彻底放弃了。 好,进入性能监测界面了,里面分别有性能核心和能效核心的监测指标, a n e ai 神经网络引擎的指标,内存和 gpu 使用情况。这里要说一下,跑本地大模型是用不到 a n e 引擎的。这台 max studio 我 已经入手了一周了,从来没看到过它工作过, 看来还是有问题。我彻底放弃了后面的测试,我们就只有不去看他的性能指标了,让我们等候一下,看他这次会不会交出让我们满意的答卷。 为了后面快速的提问,我们打开系统控制台,新建一个文本文档,把我们要问到的问题先复制下来,后面好粘贴给其他的大模型。 这个时候我们看到 hermes 已经完成一个文档的编辑了,我们先点开 hermes 的 过程文件,看看是否是真的已经把内容写到了 markdown 文档里去, 这次好像它是真的按照我们的要求完成了工作。为了确保中间没有出什么问题,我们打开工作区的目录,看看文档是否是真的生成了,有没有什么问题。 好的,我们在 jam 四的目录下确实看到了有个名为安岳石刻艺术水平研究的 markdown 文档, 让我们打开这个文档,看看是否是按我们的要求完成了工作。我们可以看到文章的开头却是明显的标记了是由 gemma 四模型生成,看上去内容应该也没有大的问题。 任务结束,他还做了一个简单的任务总结,把它是如何去写这篇文章做了一个总结,包括强调的要注明是什么大模型编写的。在开始下一个测试前,为了不影响后面的测试结论,我把 o m l x 进行重置,清空加载的模型和 k v 缓存已得到一个公平公正的结果。 好的,让我们来新建一个任务,避免刚才任务的上下文影响本次测试的结果。首先还是选中 gemma 四的目录作为工作区, 让我们来把模型切换到 gemma 四二十六 b a 四 b 这个模型。 同样的问题,我们从刚才的文文本档里复制过去,看看它会不会给出不同的答案。 问题发出后,稍等片刻,可以看到模型已经加载到了统一内存。为了让大家直观地感受首字输出的时间,这里我暂时先不进行快进,还请大家耐心等待。 在差不多接近三十秒钟后, hermes 给出了答案,跟刚才三十一 b 模型回答比较类似,毕竟是一家公司的模型。让我们把第二个任务发给 hermes, 准备编写论文的写作计划。 可以看到,第二个任务发出后, hermes 几乎是在没有等待的情况下,很快就给出了答案,这就是 m o e 模型的优势。 请注意,当前并没有快进,这个模型的体验已经做到跟云端没有太大的感知差异。我发现他在思考时参考了大量刚才三十一 b 模型生成的论文。为了防止借鉴,我单独给他一个指令,不要去参考工作区目录内容的文档,从头给我写一遍。 我们看到 o m l x 的 仪表盘界面再次加载了 gemma 四三一 b 这个模型它并没有在工作,也不影响性能,但从公平起见,我们还是手动把模型卸载掉,如果电脑性能足够,其实是可以让多个模型同时使用的。 好啦,第二个模型很快回答完毕,我们从刚才的文文本当中复制第三个问题,把它给到 hermes, 正式开始写作的工作,为了节约时间,后面的生成过程都采用快进的方式处理。 不得不说这个模型的速度真是快,给出问题后没有太长的等待时间就能输出答案,而且每秒能给出一整行的答案, 让我们静静等待它回复完。可以看到这个模型第一次回答也把答案写到了正文里,而不是写到了一个文件里。 从 o m l x 的 仪表盘中可以看到,这个模型平均的生成速度达到了六十三点九个头克,每秒速度还是杠杠的,就是没有严格理解,并按照我们的要求来开展工作。 gem 模型有个习惯,每写完一点东西就会问你一下要不要继续。不同的模型工作起来思路完全不一样,所以我们不管是用 hermes 还是用 openclaw 这种工具,都要去理解背后的大模型的特性,这样才能做到把工具运用得游刃有余。 这个模型有点意思,总是喜欢通过政文的方式来回答问题。我们复制最后一个问题,让它把文档生成后放在目标工作区内,看它能否按照指令来工作。 他总是给我回答他不能去创建文件。这个我是觉得有点奇怪的,这个模型我在下载的时候就已经确认过,是支持工具调用的,不然 hermes 也是没有办法调用的,但是它的表现确实不太让人满意。这个就是小体积大模型普遍存在的问题, 看来还是不成功。我再给他提一次要求,如果再次失败,那我们不得不放弃。本次测试可以看到,他不仅说了无法一次性给出两万字的回答,还给出了一个假的 markdown 文档地址,让我们写完后把文本内容复制过去,看来是没有办法满足我们的要求了。那这个模型的测试就先到此为止。 让我们去到 o m l x 表盘界面,重置一下模型和 k v 缓存,清空所有的内容,准备开始下一个模型的测试。 接下来我们要测试的是智普 g l m 四点七模型,还是老样子,我们先把工作区指定为 g l m 这个目录,打开模型列表,选择 g l m 四点七 flash m l x 四 bit 这个模型。 让我们等待一下,让这个模型思考当前视频没有加速,如果有加速的情况,我会在画面右上角加上加速中的图标, 三十秒后首个回答出来。这个回答速度跟其他几个模型并没有太大区别。 来,我们继续下一个问题,把问题再次复制粘贴过来。 这个 g l m 模型也没有让人等待太长时间,非常快速地输出了答案。 理论上来说,质朴的模型在中文写作,尤其是论文方面,应该是所有模型里面最强的,所以让我们期待它这次的一个表现。 我们作为开发者,有必要去摸清楚到底哪个模型有什么特色,哪个模型更适合自己?稍等一下,看着这个模型陷入了一个无限循环状态,我不知道什么原因,大部分模型本地部署都是很正常的,但是质朴的模型我已经下载了好几个版本,非常容易陷入这种无限循环的状态。 我这个模型是下载的 m l x 官方社区发布的版本,并没有经过模改,理论上应该能够正常使用才对。有知道这个问题怎么解决的小伙伴欢迎给我留言。那非常遗憾,这个模型的测试也不得不终止。 让我们重置 o m l x 和缓存,准备开始本次最重要的千问系列模型的测试。先把准备工作做好,把 hermes 的 工作区指向 q v 目录, 再次确认 o m l x 没有加载任何模型。让我们从体积最大的模型千问三点五幺二二 b a 十 b 模型开始测试。这个模型应该是本地部署大模型最具备生产力的模型之一, 它的整体能力接近于 g p t 四 o, 能够很好地兼顾质量与速度。只是这个模型四 bit 量化版本,光文件就超过了六十八 g。 九十六 g 内存的 max studio 跑这个模型肯定是有问题,尤其是搭配 hermes 或者 open core 这种智能 agent 工具使用,所以英伟达、 amd 都把新产品的统一内存设计为了一百二十八 g 起步,跑这种模型刚刚好。 大家可以看下 o m l x 的 仪表盘的 gpu 占用模型,刚开始推理内存就超过七十 g, 再加上系统对内存的占用,可以说几乎是来到了极限。 从 hermes 的 界面思考过程也可以看到目前它的整个内容生成速度非常的慢,几乎到了不可用的状态。我在 microsoft 二十六中试过,其实这个模型是可以到二十个 token 每秒,我确信是现在这个预览版系统带来了额外的性能开销,导致模型使用缓慢无比, 让我来把视频速度加速到二十倍。现在可以看到,哪怕是加速二十倍后的效果,比起前面测试的模型正常速度还要慢一拍。所以本地跑大模型确实有很多的问题需要面对。我们把同样的问题复制到 hermes 的 聊天窗口,看看它的回答速度如何。 在接近五十秒后,大模型才开始思考,我先用正常速度让大家体验一下这慢的夸张的思考速度。我们也可以看到仪表盘中内存几乎到了用光的状态, 它输出文字的速度几乎是一个词一个词的往外吐,要现在的速度只有一点七个 token 每秒,体感真的是非常糟糕。 在大约一分半钟后,他开始自己搞了一个提示词,去研究安岳石刻艺术水平论文。不得不说,更大体积的模型的智商确实要比小体积的高了很多。你看,在我没有提相关要求的情况下,他开始使用工具去网上搜索安岳石刻相关的学术资料,去了解研究现状和核心议题, 只不过在解锁过程中可能发生了一些错误,但对于这种高智商的模型来说,他是能识别到工作中的这些问题,并且采用正确的方式去修正小体积模型,这点做的就非常不好。现在可以看到他使用安岳石刻、安岳石窟、紫竹观音等一系列关键词去进行解锁,这些关键词都是正确, 他还在我的电脑里解锁不到任何资料,所以继续去互联网上解锁真的是感觉蛮聪明的。接下来他会自动去调用 web 解锁的工具或技能, 我们可以去看看他都在解锁些什么内容。可以看得到,他正通过 google 去搜索资料。这个在国内肯定是不行的,不会返回任何结果,看来还是不太了解国情。 再经过一会的等待,终于出现了预料之内的错误。 hermes 系统提示在经历过三次重试后,上下文过长,已经超过了安全界限。 我把系统内存的百分之九十用来跑大模型,但可以用内存大约是七十七点八 gb, 这样算下来,安全内存上限只有七十 gb。 一 旦出现这个错误,我就没有办法在当前窗口继续提问。 那么我们对千万三点五幺二 b 模型的测试就暂时到此为止。要跑这个模型,还是得准备一百二十八 g 的 显存或同一内存。接下来我们来测一下千万三点六的二十七 b 筹密模型。这个模型相信是大家本地部署优先会考虑的模型之一,对系统资源要求没那么高,也能干一些活。 同样,我们还是新建一个绘画,把工作区指向 clean 目录,然后复制同样的问题到 hermes 聊天窗口发给千问二十七 b 模型,让我们期待一下它有什么表现。 这个模型的首个回答经过了一分多钟,这个其实有点出乎我的意料,正常来说是不需要等这么长时间的,它的速度是三十个 token 每秒,这个速度使用起来也算是比较流畅的。我们继续复制第二个问题,给到 hermes 再回答第二个问题是感觉就好了很多。之所以会出现这种状况,就是大模型在运行时会有个 prefill 预填充的概念。当你第一次提到问题后,它会把有可能会涉及到的知识都放到缓存里去,方便你在后续的问题中快速响应。 第一次使用模型时,预填充时间会长一些,后面再提问就要好很多。 在经历过一系列的思考过后,他决定先了解一些背景情况,以了解安岳时刻的研究现状和核心资料。这个操作也蛮符合我们写论文时的操作手法。 他继续调用 any search 工具去检测互联网上的资料。这个 any search 并不是系统自带的技能,需要自己去命令 hermes 安装,并需需要注册一个 api key。 比起系统自带的搜索工具, any search 搜索成功率超过百分之九十八,可以说是碾压级的存在。 在这里,我也强烈推荐大家去试一下免费账户,每天可以搜索一千次,这个次数足以满足绝大部分人的需求。好的, hermes 告诉我说,他已经获取了足够的资料,需要跟我确认几个关键问题,就可以开始干活了。他列出来几个选项, 我到底是需要写一个什么样的文章?我们写这个文章的目的仅仅是用来做模型测试,因此我选择其他,准备以一个石刻艺术爱好者的身份来编写这个论文。可以看到千万模型对于 hermes 智能体各种工具调用的支持还是非常不错的, 他理解了我的需求,既要两万字的深度研究论文,站在爱好者的角度,又要有学术质量。因为论文长达两万字,因此他决定再进行一次深度调研,为他后面编辑论文的工作做好充分的知识储备。 我们可以看到他在思考过程中提交一些关键词,比如上乘龙门、下起大足、古多精美,谁都是形容安乐时刻的一些词汇,如果是单机使用大模型的话,可能永远都写不出这样的一些词汇出来。他说调研已经充分了,那就让我们期待他会给出一个什么样的成果出来。 我们可以看到 o m l x 仪表盘上显示的 token 生成速度是每秒二十九点八个,这个速度还是不错的,相信等 macos 二十七正式版发布后,在完全重构的底层上运行大模型,这个速度还能进一步的提升。 hermes 现在提示已经完成了编辑计划的编制,并且放到了项目文件夹内。那我们现在打开这个目录,看看 markdown 文档是否真的存在。我们可以看到这个文档确实是实实在在存在的。看来千万模型在命令的理解上面确实做得非常优秀。 现在我们把编辑文的命令发送给他,看他能否正确理解并执行,而不是像 jamal 那 样需要反复对话才能给出正确的结果,让我们期待一下。 这个时候我们可以看到 hermes 已经搜集了足够的资料,并且整理出来一个任务列表,把整个编制工作拆成了一共八个步骤,一个一个地完成工作,那就让我们等他工作完成,直接检验结果。 大约在最后一个任务发出的第十三分钟后,我们看到 hermes 完成了一个文件的编辑。让我们点开来看看是不是我们所期望的论文,似乎它确实是完成了一个完整的论文编辑。那让我们直接去到工作区的目录里,看这个文件是不是已经准备好了。 打开这个文档,确实是一次性完成了编辑,并且严格按照我们的需求,在文章开头写出了用的什么大模型,用的哪些工具。我们这会先不去纠结论文质量怎么样,后面我们找个第三方的 ai 工具来总结一下。看来把这个模型作为日常办公是一个非常不错的选择。 这个时候我们可以看到,虽然输出我们已经看到了,但是 hermes 还在继续工作,我们稍等一下,看他还准备做什么。 又过了几分钟,总算是结束了, 看来他在写完论文后,又花了点时间对论文进行了个统计,他告诉我说论文写了两万五千字,具体结构是怎么样的?非常好。我们对这个模型的测试就先到这里准备测试下一个模。 老规矩,在开始测试之前,先重置 o, m, l x 并清空缓存,然后再次新建一个绘画,并把工作区目录指向 corn。 复制好问题后,选择我们的千问三点六三五 b a 三 b 这个这个模型。这个也是我个人使用的最多的一个常驻模型, 从提出问题到开始回答,一共用了十秒钟时间,这也是所有模型里面首次回答用处最少的 内存里又多加载了一个模型,我们先卸载掉, 继续复制第二个问题,向它提问。 问题提出的瞬间,几乎完全没有等待延迟,里面就回答了问题。这个速度还是很惊人,远远超过了普通云端模型的响应速度。但是我看他在 read file 读取本地文件。为了公平起见,我们先终止本次任务,并且让他不要去参考任何现有资料,完全从头编写。 开始回答问题了,我们先恢复正常速度,让大家感受一下他的回答速度是否符合你的预期。 好了,他已经生成写作计划了,我们就直接让他生成文章。 经过一分多钟的等待,他确实生成了文档,但却是这个写作计划的文档。这个怪我,我没有说清楚,要求我们来让他继续地写出正文吧。 好像又出现了问题,任务突然终止了,没有给出任何具体的提示,让他继续工作, 我让他再接着来。 再次出现意外终止。这个真是有点奇怪,平常我在使用中,在上下文还不是特别长的情况下,几乎没有出现过这种问题。 好吧,我再给你提一次相对详细一些的需求,看看能否正常被响应。 又终止,这个真是让我有点摸不着头脑了。 好吧,这个模型看来今天是要跟我过不去了。 呦呦呦,又停止了,要不是这个模型非常重要,我真是有些不想继续测试了。 又跑了一会儿,他居然告诉我说刚才在编计划,压根没写论文,真是气死我了。 再次对他发起灵魂拷问, 他居然又告诉我,他压根没写,不愧是野生 ai, 多么的桀骜不驯。看现在这个样子, o m l x 仪表盘看到在持续生成内容,这下应该真的在写了。 趁 hermes 还在努力的编写论文,我们打开豆包,让它作为专家来对三篇论文的质量进行打分,要求豆包以一个论文评委的身份对三篇文章给出详细的评分项目和评分表。然后我们把已经写好的两篇论文先上传给豆包解析一下, 借请大家稍安勿躁,等等它的完成。 等了二十分钟过后,又突然告诉我没写,我整个人都不好了,明明看着刚才 gpu 在 疯狂的运转,这个真是要把我整崩溃了。 我们最后一次,这次是真的最后一次,重置一下 o m l x, 看看能不能把这篇文章给写出来。 好,我们最后一次给 hermes 提出写出完整论文的要求, 怎么还是有问题?我们来让他分段写出内容,然后再一段一段合并,看这种方式能不能搞出来。 这下对了,他提取了我的建议,把文章分成了好几段,一段一段的编辑内容,现在开始编辑第二段,每编辑完成一段新的内容,就把这部分与之前的旧内容进行合并,这方式上下文就不会拉的特别长。我们打开工作区目录,确实也看到了阶段性的成果,在目录下,这次应该不会再翻车了。 第二部分已经写完,开始写第三部分, 我们打开 markdown 文档,确实已经把最新的内容补了进去。 终于在五分多钟的时候, hermes 告诉我他完成了整个文档的编写。 我们对三篇论文都进行了重新编号,打开豆包把最后一篇论文也放进去,再把评分标准和要求也再完善一下, 让豆包站在论文评选专家的角度来对三篇文章进行详细的分析,而不是一个泛泛而谈的言论。 豆包的回答这会也有点抽风,他居然说看不见文章,这是不对的,因为豆包底层是非常强大的多模态大模型,当前结论绝对是属于胡说八道, 那就让我们对豆包也发出灵魂拷问,看能不能改掉他乱说话的坏习惯。看吧,多问一次你就发现他其实完全能看到三篇论文的内容,他把哪一篇文章是哪个模型写的也列了出来,让我们看看他是怎么样评价三篇文章的。 按照满分一百分的标准,豆包给 dream 四三 e b 模型写的文章打了五十五分,并且给出了给低分的原因, 对零二号千万三点六二七 b 模型的成果给出了相当高的评价,九十五分几乎接近于满分,给千万三点六三十五 b 的 打分反而低一些,只得到了八十五分,但是还是比起 dream 要强很多。由此可以看出,需要进行汉语文字工作的小伙伴还是用国内大模型好一些,毕竟是原生语言环境训练出来的模型。 好了,今天我们的评测就到这里总结一下,国产模型在非编码的日常工作场景使用是非常给力的,海外模型这方面相对弱了很多,非常可惜。号称最强中文模型的 glm 大 模型因为种种原因没能跑起来,可以看出千万系列对于开源的支持是非常到位的。 小伙伴们,你们还希望看到本地模型哪些方面实际应用的表现?欢迎评论区给我留言,我会根据大家的意见来进行测试,感谢大家的支持,再见!

兄弟们,昨天花了一晚上专门给我的 m 五 max studio ultra 二百五十六 g 八十盒 gpu 的 这个 m 五 ultra 做了一个本地大模型的测试, 用的是最新的 o m l x 七点零,其中还加测大家觉得非常牛逼的 tenso four 的 零点六点五这个版本的推理引擎, 我们就来看一下我们的这个结果。兄弟们,我把我的所有的测试的截图全部都做出来了,让这个 ai 给我们做了一个系统的汇总,汇总的网页就在这边,大家可以看一下,其中可以看出来,我们先看最下面就是我拿到手刚发的这条视频, 发的视频就是说 deepsea v 四 flash 零七三幺,我之前不是说速度很差,只有三十多,你看这个作为我们的基准,可以看到我们的数据是没有造假,我们可以看到我现在最经常在用的是什么,最经常在用的是这个 也是 o m l x 的 这个推力引擎的 o q 四 e m t p 版本, flash 的 这个千万升级了零点七点零,这个 o m x 之后呢,这速度非常快,单柳清上下文能够飙到一百二十三点五,这个透刻每秒 上下文比较高的时候,这个上下文大概是三十二 k 的 上下文的时候达到五十几,这个五十几可能是测试的一个误差,因为我给大家看一下 rodata 这个上下文达到了比刚刚更多的,比这个三十二更多的时候, 它比如说一百三十一 k 的 时候,它还是能达到个九十五左右的一个呃上输出,所以它 速度是非常快的,而且它预填充的速度也非常快,我现在是我的主力的模型 o q 六 e 这个模型的速度也非常快,它这个峰值能达到九十二, 平均也能达到八十二左右,平均就是上下文多了也能达到八十二左右,我感觉这速度还是非常不错。我现在主力就用这两个模型,这个模型大家觉得非常强,这个是 tenso four 的 零点六点五做这个千问三点八七十二 b 这个 draft 二这样的一个模型跑出来的结果,它这个单流最快能达到一百六十六。同样的我们用这个 o m l x 这个推力引擎 它最快,如果是这个模型它是多少?它这单流最快是五十二,你看和这个差距非常大。那兄弟们是不是觉得这个 tensor fold 非常牛逼呢?我跟你讲,其实也不能这么看,为什么它的预填充的速度实在是有点慢,你们看这个位置,这个就是我们 tenor fold, 它在两百 k 的 预填充,它首次延迟,它要多少?等四百多秒, 我们正常的预填充是要等多少秒?两百秒不到,说明它多等了一倍的时间,我也不知道它在干什么,要多等一倍说明这个 tenor fold 这个在短的上下文速度非常快,长上下文它有一个预填充过慢的一个 bug, 我 觉得还是需要修的。我主应用的是 o m x 的 o q 四 e 这个模型, 它预填充的速度非常快,你看这边有 feel 的 速度能达到五千多,这个 q 六的它能达到四千多。这个预填充速度我不知道为什么超级快,我们可以看, 比如说我预填充了一个两百 k, 两百 k 只需要四十五秒,这边就可以填了。 q 四两百 k, 我 的预填充没有测,测了个一百三十一 k, 那 速度是二十四秒,也非常的短, 所以兄弟们大家可以看这个东西的结论。有一些解码引擎在短上文的时候特别快,他在预填充的时候长上文填充特别慢, 有的可能解码没有这么快,但是通过社区的发展,解码的速度也有长足的进步,它的预填充的速度非常快,我觉得非常快,已经能达到我的这个期望了, 也就是总体的结论,不管哪个推理引擎,现在在 mac 这个生态,没有一个全场碾压级别的,一个推理上下文 都是各有胜负的。然后去我会把这个生成的图标,生成的文件上传到我们评论区,大家可以进行下载测试。本地 ai 啊,也有非常多的坑,一个就是它的下载速度特别的慢, 下载完了特别慢之后,很多文件,很多模型都无法运行,比如说这些都是我运行失败的模型,我会把它放在这里,说不定什么时候它这个版本更新了就可以运行了,我们到时候再看。兄弟们还有一个 tensof 的, 给大家看一下 glm 五点三 q 四的 dflash。 二,我也是通过 tensof 这个引擎跑的,它的速度给大家看一下 token 是 六十多到七十多 token 每秒, 大家看这个升值速度怎么样?我个人感觉还是不错的,看它这个题诗词的赋能,它的速度是一千多,还是相对来说比较慢的,我们再看一下它这个 八倍的泵发加速速度还行,再看全场,我感觉全场在这个 tenso four 的 上下文的预处理 我感觉是比较慢的,首字延迟就这两个 ten four 的 非常长,但是我感觉 g m l 五点三是能够接受的,它和这个 o m l x 是 差不多的, 只有千问的三点八七十二 b 的 速度非常慢,我不知道为什么,可能是需要那个大神们再继续优化。好了,兄弟们,这边就是我的全部的测试,我会把现在所有的测试结果放在我的评论区。好吧,大家自取。

两台 mac 跑八千多亿参数的模型能,但官方这套双击方案,每台得有五百一十二 g 内存。十月十五日, met 开放了 muse spark open 的 模型权重,它主要帮你写代码、调用工具,把一件事一步步做完。 模型这么大,还能放在桌上,是怎么做到的?它里面有很多分工不同的专家,每生成一小块内容,只调动其中一部分,总参数八千一百六十亿,每一步实际用到四百二十亿,不过没被叫到的部分照样得占内存。 苹果测试用的是低精度压缩后的版本,光模型本质就占四百九十三 g 左右,两台电脑各装一部分,再用高速连接交换,中间结果一起算。苹果这套双击并行测试,每秒大约生成二十五个 token, 可以 理解成二十五个文字小块,不等于二十五个汉字。 这是在八千多 token 上下文下测的,别跟他支持的一百万上下文混在一起商用还有个条件,如果你用它对外提供模型接口,服务公司和关联公司在任意连续十二个月内的总额入超过两千万美元,就得先跟麦塔另签协议, 内部用或者给自家普通产品加功能,不在这条限制里用了他的产品,还得按要求标明使用了这个模型。 我觉得这次值得关注的是,这么大的模型已经能放到自己的桌面上,资料可以在本地处理。至于要不要专门买两台机器,先通过现成的接口,拿自己每天真会做的任务试试,确认他能帮上忙,再来算这笔账。

哈喽,盼了好久的 max studio 今天终于到货了,之前纠结了很长时间,到底选 x 八六主机还是苹果规? 我的需求很明确,打算放家里二十四小时开机跑,带独显的 x 八六,长期满载,功耗太高, 电费和散热都是问题。权衡之后选了这台。入手它的原因也简单,笔记本内存不够,跑虚拟机本地大模型很吃力,专门添置一台用来折腾本地 ai, 先装个奥拉玛试试。哎呀,还踩了个坑,下载了个千万三点六二十七币, 在苹果平台跑起来巨慢。查完资料才明白,苹果平台要下载模型后缀带 mlx 的 版本,换成 mlx 版本之后速度直接上来了。我拿它测了 bgp 选路原则,响应速度挺不错。 当然,如果你也心动,就入手一个吧。咱们一起感受下苹果规本地跑大模型的实力。但是已婚兄弟先记好,第一步 先过老婆大人审批,这个环节很关键,你懂的。

上一期我证明了这台 m 五 ultra 本地大模型全能跑,但大家更关心该装哪个引擎,该买多大内存,这期用五分钟讲完。先说结论,模型不用换,先换引擎内存不用赌,先算预算,统一内存不等于可用内存。 这台机器两百五十六 g 实测 metal 给 gpu 的 硬顶只有两百二十二点七 g, 很多人按文件大小算,以为只占一百零五点四 g, 错了,加上预测头嵌入层和缓冲对齐,得按一百四十二点三 g 流, 记住文件大小不等于载入内存余量,也不等于全给 k v 缓存。先说九十六 g 系统吃掉十三 g 给 gpu 的 预算,八十三 g 大 模型停在二十七 b 这个级别, crine 三点八四比特全重十六到十八 g, 剩下的最多再带两个小助手,一个项链,一个 o c。 二百 g 级模型全部装不下,一句话一个主力加两个小助手就是九十六 g。 本期实测都在这台机器上,百 g 级,三个模型都能装,但只能三选一。 flash nex deepseek v 四 flash glm 五点三 flash 两个坑同时只能长住一个 glm 的 长上下文,十六万封顶不是二十五万, 一句话两百五十六 g 才是真正的分水岭。五百一十二 g 这一档媒时机都是推算给 gpu 的 预算大概四百四十五 g, flash nex 加 deepseek v 四点一 flash 的 裁剪版可以定住三个一起上就超了。 最值的是生图和生世平能和大模型同时开,这是唯一一档。记住五百一十二 g 买的是同时不是更快。说完内存,说引擎,最热的四个引擎, o m l x tensor fold m t p l x splash, o m l x 是 通用服务器,长上下文读入最快。 tensor fold 是 精确解码器,投机解码,竹字节一致, m t p l x 只做一件事,零额外内存开销。 splash 是 给编码 agent 的 成品全锁死。 一句话,求全、求准求省求顺。上数据,同一台 m 五 ultra 上下文二十五万 token 能启动读数 二十七 b 筹密短荡生成 o m l x, 八十一对五十八,读入八百三十五对三百三十,两项全胜 flash next 反过来短荡,四十七对九十六。 tenor fold 快 两倍,可读入还是 o m l x 领先。 同一台机器赢家换了个边,所以哪个引擎快?这问题问错了,这瓶最核心,同一模型同一机器,速度能从四十变到两百七十二,差六点八倍,靠的是换条件 换内容最夸张,同一份草稿只换提示词,中文五十六,英文代码两百七十二,中文接受率百分之五点七,代码百分之五十点五,换配置开关只改一个 m t p 开关。 flash next 从四十七涨到九十三, glm 开了反而更慢, 所以先问哪个模型,哪个量化,为什么内容,开了哪些开关给方案。九十六 g 主力用 cron 三点八二十七 b 斯比特引擎选 m t p l x, 三十二 g 是 满原声 m t p 助手留像量和 o c r 两百五十六 g 主力用 flash nex 挂 o m l x 二十五万 token 读入全场最快要代码和英文,同一个模型换 tenor fold。 一句话, flash nex 常驻 glm 和 deepseek, 按需装载,不要同时开。注意事项,只留关键几条。第一,两百五十六 g 给 gpu 的 硬顶只有两百二十二点七 g, 第二,峰值在长,上下文跑到一半不是启动那刻。 第三,升级会改能力上线, omlx 升到零点七点零之后, glm 的 涨上下文从二十五万调到十六万。升级前先备份配置。 第四,极限量化的代价是幻觉精确账目交给工具给已买的朋友。九十六 g 别硬塞,百 g 级模型装不进就是不存在。二十七 b 加 m t p l x 已经很好用,省下的钱换成硬盘。 两百五十六 g flash next 当长上下文,主力 g l m 当质量专项, deepseek 当超大窗口专项。三个不要同时长注, 五百一十二 g, 重点放在同时超长并发上,别执着单个模型更快,再说还没买呢。内存不能后加,先定内存再定芯片,升内存还得同时升到三十六核 cpu, 八十核 gpu。 九十六 g 是 入门,两百五十六 g 才是分水岭。五百一十二 g 只给三类人同时驻留两个百 g 模型跑二十五万,偷看跑并发子代理。一句话,模型免费,引擎免费,要花钱的只有内存,不要问哪个引擎最款,要问你的活是什么,下一期见。

你的 mac 适合部署哪款本地 ai? 先看这张配置天梯图,从九 b 到七十 b 模型,从笔记本讲到桌面机,首先需要看懂 mac 的 统一内存。常见读显电脑的系统内存和显存是两块物理存储,三二 g 内存加十六 g 显存, 不能直接算成四十八 g 独立显存。 m 系列 mac 的 cpu 和 gpu 共享同一块物理内存,可以访问同一份数据, 减少部分跨设备搬运。但三十二 g 统一内存不是 cpu gpu 各三十二 g, 也不是三十二 g, 全给模型。系统软件模型权重和上下文都要分这块空间,所以选模型容量要留余量。想知道实际快不快,还要看 gpu 统一内存带宽、 运行工具和散热。下面统一按 q 四量化一次运行。一款来评估是起步建议,不是模型上线。先看 m 五 macbook air 和基础 m 五的十四英寸 macbook pro, 这里都参考十盒 cpu 十盒 gpu 三十二 g 统一内存 e tbssd 内存带宽一百五十三 gb 每秒,两者可以评估千万三十二 b 模型和拉玛三点一八 b 模型分别拿中文材料、 图文和通用对话做测试。 air 没有风扇, pro 有 主动散热持续表现,要用同任务比较。十六 g 版本先看 jamma 三四 b 莱玛三点一八 b 和 miss ro 七 b instruct v 零点三输入先短一些。 air 还要区分八核和十核 gpu 版本再看 m 五 pro macbook pro 参考十八核 cpu, 二十核 gpu, 四十八 g 内存 e t b s s d 宽带三百零七 g b 每秒。中文和图文任务可以评估,千问三点八二七 b 解码三二七 b 写代码看千问三 code 三零 b a 三 b 推理再对比 deep sec 二一的三十二 b 千问蒸馏版,它不是完整的 deep sec 二一 m 五 max macbook pro 参考十八核 cpu, 四十核 gpu 六十四 g 或一百二十八 g 内存二 tbssd 宽带六百一十四 gb 每秒,可以评估千万三点八、二十七 b 朗玛三点三七零 b 和千万三扣的三零 b 朗玛二七零 b 的 q 四文件约四十三 gb 六十四 g。 先测短输入和单模型。注意,三十二核 gpu 的 m 五 max 带宽是四百六十 gb 每秒,不能和这里的四十核版本混血。然后看 mac mini m 六版本,参考十二核 cpu, 十二核 gpu 三十二 g 内存 e t b s d 带宽一百七十 gb 每秒,模型可以选千万三点五九 b j 码三十二 b 朗玛三点一八 b 一 六 g 版,带宽是一百五十三 gb 每秒,内存档位也要核对 m 五 pro mini 参考十八核 cpu, 二十核 gpu 四八 g 内存 e t b s d。 带宽三百零七 gb 每秒,可以评估千万三点八二十七 b g m r 三二七 b。 千万三扣的三零 b 也能加入 dcpk 二一三十二 b 蒸馏版对比最后是 max studio m 五 max 版本,参考十八核 cpu, 四十核 gpu 六十四 g 内存 e tbsd 带宽六百一十四 gb 每秒,可以评估千万三点八、二十七 b 拉玛三点三七零 b 和千万三扣的三零 b m 五 out 版本,参考三十核 cpu, 六十四核 gpu 九十六 g 内存 e t b s s d。 带宽一点二 t b 每秒,可以评估千万三点八、二十七 b g m r 三二七 b 拉玛三点三七零 b 和千万三扣的三零 b 一 二八 g 的 max 或者选配三十六核 cpu 八十核 gpu 二五六 g 内存的 ultra, 还可以进一步评估。千万三点五一百二十二 b a 十 b 模型文件约八十一 g b 运行时仍要给系统和上下文流余量。 最后, ssd 负责存储和加载,不能代替同容量内存模型,下载体积也不等于实际运行峰值。用同一份真实材料检查答案完整性, 首字盒全部输出等待。再看内存压力,评论区留下机型芯片内存和任务。如果你有企业 ai 应用本地化模型部署的需求,可以找我聊聊。

我的 mac studio 终于到了开放预购第一天我就充了,当时说要等三个月,十一月底才能送到,结果提前整整四周到手。 这台 mac 有 两百五十六 g 的 统一内存,一上手真沉,重量主要增加在纯铜散热器和电源组建,用料十足。这是我的第一台 mac studio, 用惯了 macbook, 看见前后一共六个雷电五,终于实现了接口自由,不用再掰着手指分配了。 再看看散热底部,这一圈网孔吸入冷空气,空气经过内部的散热组建抵进后出,把热风从背面的网孔排出去。这期视频记录了我用这台 max studio 运行各种本地大模型的完整过程,并最终把它打造成为我个人的 ai 创作工作站, 遇到的问题和踩过的坑也都会一一分享,还顺便开源了一套我的配置脚本。内容有点长,建议先收藏再观看。第一,为什么我要选这台 mac studio? 说实话,这台机器真的很贵,我下单的时候手也很抖, 但如果你去查一下同等级同容量的内存价格,再看看已经停产的五零九零卖多少钱,是不是觉得这台机器的价格也还行?而真正让我下定决心的是,这一代 m 五 ultra 升级了内存带宽每秒一点二, tb 的 带宽已经达到了五零九零的三分之二, 统一内存加高宽带,对本地大模型推理来说真的太友好了。从我每天干活的切身体验来讲,我还特别盼着这台新 mac 能把我桌上这两台 ai 主机和一台 macbook pro 一 起替换掉,给桌面做个减法,不用在三台机器之间来回切换,这就是换上 mac studio 的 样子, 是不是看着有点太空旷了?我都有点不习惯了。原来那三台设备的满载功率加起来有一千两百瓦,而这一台 mac 满载也就三百五十瓦左右,待机功率只有十二瓦。最直观的体验就是耳边的噪音少了很多。 从现在开始,这台 mac 就 要一个人扛起所有,他既是我写代码的主力,也要给其他设备提供大模型推理和本地音视频生成服务,顺便还得兼职当我的个人助理。实测开始前,先剧透一下最让我满意的地方。 它的 gpu 和 cpu 刚好可以覆盖我每天的两大工作场景, gpu 专门为我部署的多个智能体提供推理服务, cpu 则负责视频渲染和日常工作。当然遗憾也有,就是它没有库达要找苹果平台专用的方案,比如现在生态越来越丰富的 m l x。 在 macbook pro 最头疼的就是散热, 跑个三十五 b a 三 b 刚起步能飙到每秒六十多个 token, 可是不到十分钟就掉到每秒十六个左右了。而买 max 六之前,我特别去查了它的散热风道,可以说是这个体积下最合理的结构, 而这种结构带来的最直观的好处就是噪音小太多了。它满载跑起来也有风声,但只有我以前设备噪音的四分之一的听感。下面这段音频是我在 mac studio 风扇最高转速时近距离录制的,大家可以自己听听看。 我这台机器的内置硬盘只有一 tb, 放在现在这个时间点,跑大模型已经完全不够看了。 说实话,我买的时候哪能想到才短短几个月, flash 模型的参数量就膨胀的这么夸张,但是苹果的内置存储从一 tb 加到两 tb 就 要多花三千七百五十块, 这是按克数卖的嘛。所以我决定先自己动手加一块外置硬盘。我把四零六零 ti 主机上的一块三星 ssd 拆了,再加上手上有一个闲置的 usb 四硬盘盒,就先凑合用吧。 虽然 usb 四配不上 mac 的 雷电五,但来都来了,先装起来再说。这就是刚拆下来的 ssd 和硬盘盒。为了能压得住,我还特别找了一套带五十八片纯铜漆片的散热器,人家还贴心的带了三种厚度的导热贴。淘到这种小物件呢,其实挺开心的。 装好了合体之后唯一的尴尬就是散热片太高了,盖子盖不上,只能主打一个敞篷版了, 连上 max studio 后就长这样,有点盖。但没关系,下面就跟苹果按克麦的内置 ssd 拼一下速度,用测速工具拿五 gb 文件循环读写,连续跑满半个小时, 读取每秒三千兆左右,写入两千四百兆,基本跑满了这个 usb 四硬盘盒芯片和接口的上限。不过手摸上去,散热片已经非常烫了,毕竟没有机箱风道,热量会堆积在散热片上。 那如果不加刚才的散热套装呢?我还真试了,不出一分钟,硬盘就直接过热,降到百分之一的速度。再来测一下 mac 的 内置 ssd, 写入每秒一万一千兆,读取更是飙到了一万三千兆,不得不说,贵还是有贵的道理, 而且它长时间读写的速度也非常稳定。这要归功于前面讲过的机身散热结构,内部风道能持续把热量带走 到这里存储,就算搞定了外置硬盘当仓库囤模型,而内置的这块超快的 ssd, 就 负责大模型的流逝加载吧。现在开始上正菜,聊聊这台 mac 上怎么跑本地大模型。这台机器的主战场一定是本地大模型推理。 我个人最想跑的其实是十月十七号刚发布的这一版 deepsea 四点一 flash, 但是官方开源的模型权重足有五百多个 g, 两百五十六 g 内存根本塞不下, 就算压到三位量化,并且把 ingram 词表卸载到内置 ssd 流式读取,剩下的内存也只能勉强跑个四 k 上下文,这顶啥用啊?而我需要的本地大模型,必须能在这台机器上跑满原声上下文,最好是满血全重,最低也得是八位量化。 至于量化精度为什么要尽量高,大家可以回看我以往的视频。配置本地推理环境的时候,我让 ai 把全套流程做成了一个小工具,叫 mac ai kit, 已经在 tikop 上开源,左边就是它的 tui 界面,选第一项就能把 brew、 python 等基础环境一键配齐,省得挨个敲命令了。 接下来先认识一下 mac 上的大模型推理框架,主要是拉玛 c p p 和 m l x, 虽然它俩底层都会走苹果的 metal, 但 m l x 是 苹果官方的计算框架, gpu 算子优化的更好,通常也会更快一点。接着用我这个工具,一键就能把我推荐的五个推理引擎,还有额外附赠的 hermes agent 个人助手全部搞定。 当然,这些配置工作我建议直接让 ai 帮你弄,反而更不容易出错。另外提一句, m l x 推理引擎,我推荐大家用列表里的 m l x serve, 而不是现在越来越臃肿的 o m l x。 第三步,选择本地大模型权重。我常用的代码、制图和音视频模型都已经放在 mac ai kit 的 列表里了, 也会分享到视频文档里。下面先实测五十五 gb 的 千问三点八二十七 b 和接近两百 gb 的 千问三点八 flash。 至于音视频和制图模型,下个章节会讲到。下面有请第一位挑战选手登场。千问三点八、二十七 b b f 一 六满血原版 先测试一下关闭 m t p 时的速度,结果在 g p u 跑满百分之百的情况下,解码速度只有每秒十四到十八个 token, 离每秒二十个 token 的 最低及格线还差一截,难道刚开局就要翻车了?快速算一笔账,一点二 t b 贷宽除以五十五 g b 权重,理论极限也就每秒二十二个 token。 没办法,二七 b 是 筹密模型,再加上满血权重,块头实在太大了,每吐一个 token 都得把五十五 g 搬运一遍。那为什么非要 b f 一 六呢?大家可以看我以前的二七 b 评测,量化版本在复杂工程上的能力差蛮多,在这么庞大的权重上就需要开启 m t p 来加速。 这个二七 b 自带的 m t p 头只有四点二五亿,参数也就是总模型的百分之一点六。接下来我会分别测试一次预测五个 token 和两个 token 时的速度。屏幕上是 mlx serve 的 内置精准测试报告, 把 m t p 草稿长度设为五之后,解码速度提高到了四倍,达到了六十到七十, token 每秒 预填充也在每秒一千四到一千五百之间,进入了一个非常舒适的区间,这下终于能松口气了。但它这个内置测试有个很大的问题, 只覆盖了最高十六 k 的 短上下文,所以我又在 mac ai kit 里补了一套长上下文测试, 毕竟到了 agent 时代,正常的工作负荷都是两百 k 起步。打开 m l x serve 桌面板,它会自动开启 api 服务, 这时候在 mac ai kit 里选择主菜单的 benchmark, 再选择第二项,就可以利用 m l x surf 开放的 api 端点测试二七 b 最高两百 k 的 预填充和推理速度。 跑起来以后 gpu 直接跑满百分之一百,不过温度还可以,一直维持在七十度左右,风扇已经拉满了两千五百转, 峰值内存占用在八十七 gb 左右,而整机的最高功率达到了三百三十三瓦。测试结束后会自动输出三种报告格式,打开 html 报告看一下。先说明一下我的 benchmark 测试,每一档的新增输入都是两 k, 输出是最多四百八十个。 token 可以 看到解码速度从两 k 上下文的每秒八十二一路降到了两百 k 的 三十五左右, 预填充速度也从两 k 上下文的每秒一千六降到了两百 k 的 七百三十左右,这就是为什么一定要做长上下文测试的原因。随着上下文变长, kvatch 的 读写和计算压力直线上升,导致两个速度都会明显下降。接着把 mtp 草稿长度设为二,再测一下, 说明一下设成一没有任何意义,而拉到六,我又觉得拒绝率可能会上升,所以我平时习惯在二和五之间选重启服务。再跑一遍刚才的测试,打开新的测试报告,先确认这次的草稿长度是二, 推理速度明显下来了,最高只有五十五。跟草稿长度五的对比表我放在屏幕上了,解码速度最高降了百分之三十三,不过长上下文下差别没那么大, 而预填充速度变化很小,这一点很棒,老黄家的很多显卡开启 mtp 后,预填充速度会下降百分之四以上。二七 b 的 精准测试到这里就结束了,我整理了关闭 mtp 与两档 mtp 的 速度对照表,方便大家对比参考。 那这个速度到底是快还是慢呢?我请出二十七 b 首发评测视频里同样跑 bf 一 六的九十六 gb 工作站显卡 rtx pro 六千,来正面 pk 一下。 预填充速度上, mac 只有这张工作站显卡的四分之一,差距巨大,但在解码速度上刚好反了过来,把 m t p 草稿长度都设为二, mac 除了在两百 k 上下文下稍微落后,短上下文居然还快了百分之二十。当然,这背后的原因跟推理框架和硬件架构都有关系,但至少在我的测试里,这台 mac studio 在 推理土字上确确实实打平,甚至超过比它贵一倍的工作站显卡。 下面有请第二位选手登场。千问三点八, flash 这模型可跑不起 b f 一 六只能用 mlx 的 八位量化,因为它的完整权重有三百六十 g, 即使把 ngram 卸载到 ssd, 内存的余量依然非常紧张。所以我们看看社区做的八位 mlx 量化表现如何。说实话,测试前我其实都没有抱太高期望,在 mlx server 里把模型切换到 flash next, 这里有个选项可以注意一下,在内存设置的最下方,默认是不把 ngram 加载进内存的,能节省三十 gb。 但精准测试中,我们想看它跑满全速的表现,所以把这个选项打开,再检查一下。 mtp 草稿长度,设为五开跑。同一套长上下文测试这次跑得飞快,一会儿就出来了。 打开报告,先确认 m t p 确实跑在五,解码速度达到了每秒一百七十六个 token, 预填充高达四千六百多。这两速度我真的是有被惊艳到。而且这个模型在长上下文上的速度保持得很好,比二七 b 强了很多, 因为它的 m o e 架构和混合注意力机制大幅缩减了注意力头,也降低了 kvatch 的 读写计算量。接着把 m t p 草稿长度改成二,同样跑一遍。左边是报告,右边是跟草稿长度五的轴向对比。 可以看到, m t p 调到二之后,在短上下文中降速了三成,而到了长上下文两档,速度就很接近了,只跌了百分之八。再把 m t p 关掉, 升成速度又降了一级,和草稿长度五相比,各档低了四成到五成左右。所以从这两个不同的模型来看,不管是稠密模型还是 m o e m t p, 对 提速的帮助都不是一般的大。为了方便小伙伴参考,我把速度表格也整理出来了,方便截图和收藏预填充。注意下,零 k 时数据偏低是因为没有足够的输入长度把速度真正跑起来。在这次测试里,把 ngram 加载到内存的情况下,峰值内存达到了一百四十三 gb, 像我原来那台老的 macbook 就 没有足够的内存跑这个模型。到这我就有点纠结了,一边是稳扎稳打的原版二十七 b, 另一边是八位量化但速度快到极度舒适的 flash, 到底谁才是我的主力牛马呢?那就用实战说话。 我结合自己平时做教育软件和科普视频的经验,出了一道既考数学原理又考前端格式化的题目,看他们谁能接得住。 我拿 flash 的 录屏给大家演示一下题目和设置同一份提示词,思考强度都选最高,不能联网,也不能使用工具。用科普的方式讲解一道六年级的数学题。 在这道题目上,二十七币消耗了四万九千, token 耗时十七分钟,而 flash 的 token 消耗比二十七币低了百分之二十二,只用了六分钟就交卷了。 那他们交出来的作业到底谁更好呢?先看千问三点八,而七 b 有 一说一,动效还行,但他画的小圆位置完全不对,居然画成了大圆和小圆以及小圆之间互相重叠的样子,而且小圆的运动路径也完全是错的, 还有后面的路径等长演示以及最后的公式呈现,都是非常尬的。再看一下千问三点八, flash nex 的 出品, 从圆的位置到色彩的区分、运动路径的演示,以及两颗球同时抵达终点的惊喜感呈现,整个可式化逻辑一气呵成,每一步都交代的明明白白,只有最后右侧的公式会被面板遮挡一点瑕不掩瑜了。 那到这谁是常驻牛马的选择就没有疑问了。更快更省 token、 审美又更强的千问三点八, flash 值得拥有。夸归夸,我还是得把一个问题摆出来讲清楚。 flash 的 架构是用空间换时间,性能变强的,背后是高得多的内存占用。 所以接下来同时跑音视频大模型的时候,你会看到经常需要把 ngram 卸载到 ssd, 这时候速度就会比刚才慢一些,并且还会消耗 ssd 的 读写寿命。跟大源模型类似, 在这台 max studio 上,同样能够本地运行各种音乐制图和视频生成的开源模型。这就需要新增两个纯 c 加加的轻量推理引擎,制图使用 stable diffusion 点 cpp, 音乐生成使用 audio 点 c p p。 看到这俩后缀,你应该猜到了,它们跟拉玛点 c p p 很 类似。我就喜欢这种零依赖的轻量推理工具,不用每装一个工具就再装几个 g 的 python 依赖。前面配置工具的时候,我已经顺便把这两个引擎装好了。 接下来把服务启动起来,打开我的 mac ai kit, 进入服务管理,选择启动全部,它会自动查找可用的模型,看看内存够不够跑,然后一键启动 api 和 web ui, 并确认服务正常运行。 制图这边,我主要用两周前刚开源的千问 emoji。 二点一,主要是因为它能生成透明图。 你可能会问, m l x serve 也支持制图,为什么还要额外折腾 s d c p p? 因为它能直接使用 comfyui 的 模型权重。 comfyui 的 模型资源是最丰富的,想找什么风格都有的选两边共用一份,不用重复存几十到几百 g 的 硬盘空间就能省下来。 用 webui 测一下这台 max studio 的 制图速度。这回给李白安排一场演出,画一张他在舞台上唱歌的定妆照,当然需要垫一张参考图,用的是我之前视频里的这张三式图,分辨率我用了七六八乘一零二四, 生成过程快进一下,一共用了三十七秒。速度上我觉得并不快,下一期我会跟 m l x 的 生成对比一下。打开看一下,感觉这代千万的人相比以前稍微好一点了,不过跟参考图相比,人脸的一致性还差了一些。拿来做接下来的视频,马马虎虎,够用了吧? 音乐生成我选 y u e two, 用三 b b f 十六满血版,可惜的是 m l x serve 还不支持这个模型,希望作者以后有空加上,这样就不用额外装一个 audio 点 c p p 了。 让 audio 点 c p p 给大家现场做首歌吧。李白的行路难,眼尖的小伙伴可能发现歌词里有不少错字,这是一个小技巧,同音借字法,用读音唯一的同音字替换多音字,这样不会唱错。 一共花了三十点六秒,生成了一分四十二秒的音乐。讲了这么多,大家换换心情,听个三十秒的片段吧。 歌曲和图片准备好了,就能开始做视频了。本地的视频大模型当然选 mini max h 三,这次用的是八位量化版 推理框架,仍然是我们的老朋友 m l x surf。 上周测过 mini max h 三,同样一段四八零 t 视频, macbook 跑了接近三十分钟, 我的四零六零肽也用了六分半。这次换成 max studio, 一 分五十五秒就好了,比四零六零肽快了差不多两倍半。这个结果确实超出了我的预期,终于可以把它当成一台生产级的视频工作站来用了。 屏幕上是当时 m l x serve 的 运行截图桌面版,用起来很简单,这里就不展开了。接下来我演示一下怎样用 hermes agent 策划和编排,只使用这台 max studio 本地部署的各种模型,做一只完整的 mv。 我开源的 mac ai kid 会在模型目录下自动生成一份 a p i 点 m d, 这不是让你读的,而是专门给 agent 准备的,里面写清了已经部署的模型以及详细的调用方法和参数。新建一个目录,放好刑警男的词曲,还有刚才那张李白照片, 在这个目录下启动 hermes agent, 也就是我们说的爱马仕,再把刚才说的 api 点 m d 交给他。其实这才是我日常使用这些本地大模型的方式。建好工作区,把任务直接委派给 agent, 而不是在 web ui 上手工操作。 前面的演示只是为了更直观一点,然后告诉爱马仕使用目录里的素材,用歌曲作为音频参考,根据歌词和演唱节奏划分镜头,保持人物的一致性。做一只李白在舞台上演唱的 mv, 这么简单的提示词就能一次成功吗?不可能的, 你现在看到的已经是三小时二十七分钟后的第四次迭代,前三轮大概一小时一轮,一分半左右的成片都能交出来,但分段衔接和音化同步的问题非常多,这次我就想看看 ai 自己能不能解决这些问题, 所以只会告诉他哪里没做好,让他自己接着改接着试。但来都来了,带大家看一下第三版, 刚才这个分段衔接就很生硬了,镜头的连贯性被打破了。 第二天早上,我发现他改到了第五版,也结束了这次尝试。爱马仕告诉我剩下的问题已经确认出在 asr 转写精度上,得给他找一个更好的语音识别模型。 他还把这几轮踩过的坑,比如同音、借字、弃口、切点这些经验自动整理成了技能。我觉得这才是 a 阵的实战里的真实情况,一点点找原因,再一轮轮迭代和积累。你但凡看到一句话或者一个技能就能生成整部片子的说法,那都是哄你玩的。这个话题就不展开了, 真要把 ai 做片的经验讲透,还得单独做完整的一期,有需要的小伙伴评论区告诉我吧。最后再给大家看个离谱的前方高能预警。 小结一下,从图片到音频再到视频,都是 ai 调用本地大模型完成的,全程没离开这台 max studio, 而且本地 ai agent 还能完成一定程度的自我迭代,但本地模型跟前沿模型仍然存在能力上的代差。我用 cursor 做了一次对照,第一轮 mv 视频的效果就比千问三点八 flash 的 第四轮还要好。 这个话题我们后面单独聊一期,想看的小伙伴记得关注下哦。下面测试一下 max studio 三十核 cpu 在 视频渲染上的速度。前面做的所有测试都是 gpu 在 忙, cpu 其实很闲, 哪怕 gpu 都快冒烟了, cpu 的 占用才百分之一到二。所以这次我用 remotion 视频渲染来专门测一下 cpu 的 性能。 remotion 主要通过代码把画面逐帧渲染出来, cpu 的 单核性能和核心数量决定了视频渲染的快慢,画面上就是我的 remotion studio。 我 选了千问三点八二七 b 首发那天的十一分钟视频,让我的 macbook 和这台 mac studio 正面 pk 一下渲染速度。这两台机器, macbook 有 八个性能核心和四个能效核心,而 macbook 有 二十个性能核心和十个超级核心。这次测试, macbook 开了六并发, mac studio 开了二十二并发,两台机器的渲染结果和各阶段耗时我都放在屏幕上了。 也就是说,这台 mac studio 视频渲染速度是 macbook 的 两倍以上。但说实话,这个结果比我预期的要低。 我分析主要是 max studio 的 cpu 载并不高,只有百分之二十到五十,后续我会研究一下怎么把它的 cpu 性能进一步释放出来。最后来盘一盘,折腾这台机器过程中踩过的坑。先说第一个坑,散热, 开头已经讲过这台机器的散热很强悍,但到了我这种硬核玩家手里, cpu 和 gpu 一 起跑满半个小时以上,插座上的功率最高能充到三百六十瓦。这时候温度还行,没超过八十度, 但不代表坐在旁边没感觉,桌面上的热浪和风扇的噪声没法子忽略。所以我觉得有必要研究一下能改善风道的散热底座,而且最好还能兼顾外置 ssd 的 散热。 群里有小伙伴出了个主意,放空气净化器上面,一举两得,连麦克斯的空气都比人讲究。讲真,这是个好方案,又经济又能解决问题,唯一的问题就是重心可能有点高,你如果有好的想法,到评论区交流一下呗。第二个坑,内存不够。 对,你没听错,二百五十六 g 统一内存还是不够用,特别是千万三点八 flash nex 的 这样的内存大户,和 mini max h 三一起生成视频,整机内存占用已经逼近百分之九十,光 m l x serve 这一个进程就占了二百一十七 g。 而且这还是把千万三点八 flash nex 的 ngram 卸载到 ssd, 省下三十多 g 内存之后的结果。 如果再把视频分辨率提到一 k 以上,基本就没什么内存空间跑了。这时候就得把模型换成千问二十七币, 换完以后再生成视频,内存占用是百分之五十五,这就健康多了。接下来等千问四的新模型发布,我会第一时间测试,看看能力有没有明显提升。如果效果更好,内存占用也更合适,那它可能更适合搭配这台机器做视频任务。 同时我也会优化现在的脚本,让它自动卸载不需要的模型,把内存腾出来。如果你有更好的想法,欢迎给我提建议。 第三个坑,硬盘不够用,内置外置一共两 t 的 存储空间,才折腾了三天就已经用掉了一点八 t。 光 mini max h 三就有不同框架不同格式的各种版本,还有一堆加速版本。再来一个想试的 deepsea 量化版又占了两百 g 以上。这台机器上想玩的模型实在太多,硬盘根本跟不上。 所以如果你的预算充足,我真心建议内置存储选四 t 或者更大。最后,这台二百五十六 g 的 mac studio 到底值不值得买?我觉得这得看人,对于器材党,当然是等这台 mac 的 五百一十二 g 版本推出。 苹果之前说计划在十月下旬推出,现在看来可能还得再等等。对于五百一十二 g 的 mac, 内置 ssd 怎么也得选四 t 以上, gpu 也可以升级到八十核,但这样配下来,我估计怎么也得十五万元往上,也就是一辆不错的代步车的价格。 如果你像我一样是实战派,那就看你的任务是不是能跑满。现在这台 mac studio, 目前看下来我的任务基本都有腾挪的空间, 还不太值得专门等五百一十二 g 以后真不够用了。也有办法,也就是再加一台二百五十六 g, 通过雷电五连接做分布式推理。我对这台 mac 的 保值率还是有点信心的, 就像我三年半前买的这台九十六 g macbook, 按我现在了解到的二手行情,折价在百分之十以内,但这些年它可是实实在在给我干了不少活。 这是因为这两年 ai 把内存的价格推的太高了,这么美丽的价格,必须让它们七乘二十四小时跑满。做好 ai 牛马的本分,未来我会把 max studio 大 模型推理、视频创作和 agent 的 实战的各种经验陆续分享给你, 本期用到的开源项目和模型的信息我也准备好了文档,需要的小伙伴可以跟我要,咱们下期见。

深圳那边发过来的。对,你需要打开我给你打开,不需要打开的话你正常。呃,我回去打开。等了两个月,我们买的这台 max studio 终于是到货了,然后现在呢来给大家发一个开箱的视频,比较沉呢,还挺沉的,早上刚刚顺丰送过来的, 然后可以看一下从深圳送过来,现在他整个包装都是完整的啊,看一下也要录一下,万一有什么问题。你好,说好这面都是完整的,再看看这面也是完整的。好,我们现在开始开箱这边。哎呦我去,这么一拉,哇塞, 是真沉呀,这咋能这玩意,这玩意为什么能这么沉呢? 好了,看看这个是这边的正面,这是他的背面,然后这里有一个内容, 然后这是侧面,然后这边就是一些信息了。哎呦,这里磕了一下这里磕了一下,看这里应该是包装的时候磕到的,刚才这个包装的。对,你看这个包装的,这里也有磕到, 但这个应该没啥问题。好了,现在来开箱。那还会撕吗? 就撕一个就可以。 对,那就是这里可以直接打开了。好嘞,现在就直接打开了。好了,现在就可以这样子打开喽。好 好,现在打开,然后取出来咬出来。 好了,就是这么个玩意还是挺大的,然后里面没什么配件,就是一个这个电源,别的都没有,下面没有了。它,它这里它这个包装啊,这个苹果这个包装,它这还有这个减震的一些作用。 这有这有没有贴纸?没有贴纸,现在贴纸也不给,以前还给贴纸。没有贴纸没有。好了,木有东西了。 好,那个接下来呢,我会在它上面去安装一下本地的大模型,然后看看它到底每秒可以跑多少头孔出来。嗯,今天呢,我就开始安装了,然后大家期待下面的视频吧。

转转来看一下,今天呢给大家来整一个性能非常高端的苹果的一个主机,最新款的二零二六年款的 m 五 max 的 max 至尊中央处理器,十八核显卡,核心是四十核的,运行内存是六十四 gb 的 固态硬盘是一 tb 现货库存,原封包装,没有拆封,没有激活,没有使用,保修的话是全国联保两年的,这个用来做一些三 d 特效渲染,用来做一些专业的影视级的,这种特效的话是非常不错的。或者呢现在非常流行的有的一些 ai 知识库的大模型在上面去部署,可以去用的 原箱发出,现在目前我们自用到手的一个价格的话,这个机子现在是两万七千八的一个价格,感兴趣今天晚上可以到我们直播间来看一下。

你还想买 mac 本地跑大模型?先别急着下单,先算账。 mac studio m 三 ultra 九十六 g 跑 cosine 三点六减二十七 b 的 四比特量化版,加上 d flash 投机解码,大概是六十五 took 每秒,这个速度不差,但它跑的是二十七 b 级别模型,真正要判断划不划算,不能只看速度,要看回本。 这台 mac studio 按三万两千九百九十九元算,拿 g l m 负五点二的 api 价格做参照,每百万 took 大 约二十八元 三二九九九,除以二十八,约等于一千一百七十八 m token。 如果用这台 mac 跑 cos 三点六减二十七币,按六十五 token 每秒算,想跑出同样数量的 token, 需要连续运行大约两百零九天,更别说这套账还是按二十七币小模型算的。 如果你想上五幺二 g 的 max studio, 价格大概是十万八千七百四十九元,拿它跑量化版, g l m 负五点二,速度可能只有十七 token 每秒, 这时候回本周期就会被拉到大概七年,而现在大模型更新太快,一两个月就可能有新版本。普通用户专门买高配 mac 来跑模型,账面上很难划算。 更现实的选择是 ipod 定 play, 或者需要时临时租卡。当然,如果你本来就有 mac 或显卡,那就不一样,空闲时间、睡觉时间让它跑任务,这种才是顺手利用设备。结论,已有设备可以榨干,没有设备,别为了本地跑,硬冲高配 mac。

兄弟们想研究本地 ai 部署的,可以看一下 github 上这个开源项目 axo, 它的思路很有意思,不是只盯着一台高配机器,而是把多台自己的设备协调起来,做本地推理实验。 比如家里的 mac、 mac studio、 mac mini, 可以 在同一网络环境下互相发现,形成一个本地设备拓扑。 它更像一个研究型项目,用来理解多设备协调、模型切分、资源调度和延迟影响这些问题。项目也提供了一些接口金融思路,方便把现有应用接到本地实验环境里做验证。 如果你关注本地大模型隐私,优先部署 apple silicon 算力利用。这个项目值得收藏。 不过要说清楚,他对硬件系统和网络环境都有要求,更适合学习研究,不适合被理解成普通电脑。一键跑满所有模型。相关资料已整理好,需要的老铁粉丝团自取。

然后这应该是我买的, 它这个做的很好,就是把这个,你是把这个撕了,对吧?哎,不对,这是主机,对,白色的主机,然后就这么一点点。那贵到哪里啊?就这么一点点。 所以,所以贵啊。贵在哪里呀?就这么一点点。说一下想拿这个电脑干啥? 然后就是最近一年一直在折腾大模型吗?就是那个,比方说我如果要部署一个本地模型,需要多大的量,多大的参数,对吧?然后它的量化指标是什么?嗯,我就发现缺这些东西。一个是你折腾本地的模型, 然后用量化版本的,然后还有一个是苹果的软件的生态是顶级的。那最近最近外网有一个很火的贴子,就是有一个大学生用 ups 五搓了一个那个小王子的游戏,然后他的思路是就是 ups 五,然后驱动 tango 加布兰德加 unit, 然后把这些模型全部都建起来。如果你的模型能力不够,那你可能可以用顶级的生态软件来把这个东西给弥补上。嗯,那所以这也是一条探索的路。 拆完箱,看看这台 mac 到底能跑什么。先让一张角色图动起来,八秒画面等了十七分,四十八秒能生成,但还谈不上随手就来。 陛下,臣有疑问,您若不愿答,便不必答。人物大体保住了,可放大看脸和衣纹还是丢了。细节 背后不是一个模型包办,先读懂提示词和参考图,再生成,最后还原声音和画面。这次用八步踩样,参数固定才方便后面比较。另一个四点四六秒的镜头,总共跑了七分四十六秒,近九成时间花在主模型。踩样慢主要慢在这里, 生成时,整机的图形处理器接近满载,连续工作也用到了交换空间,内存余量得留,但后处理快得多。同样八秒素材深度计算约八点五五秒。这里还是浮雕式预览,不是完整三维模型,配音接的是字节云端先听能不能接近片子口型,留到下一步。 这是谁的手?陛下,陛下守了一夜,我想试的是本地模型能走多远,苹果生态能不能把流程接起来,短剧只是第一道考题。

我打算今晚熬夜尝试一下部署本地的大模型,呃,现在的话,呃,我已经给我的这个 max studio 已经把 codex 安装好了, 来给大家看一下。我现在问他,我想在这台电脑上安装本地大模型,然后将企业知识库导入训练智能题,最终帮我在企业微信中回复客服问题,我想 这个肯定是很多老板都希望能够做到的。然后呢,我来给大家试一试,看看到底行不行, 可以落地。这台电脑的配置足以搭建本地模型和企业知识库,我已经检测到我现在这台电脑是 apple m 的 奥创,内存是二百五十六 g, 然后现在还有三点五个 tb, 后面的话这个就是他正常的推进了,然后这边还有台电脑,然后两边电脑的话就这边安装本地大模型,这边我还可以出一点别的工作。 然后这里呢,可以说一个苹果非常好用的功能就是接力功能,就如果你有两台 mac 的 话,你只需要 一个这个键盘和鼠标就可以了,你看其实现在这里的话,我是,呃用的是这个,这个麦克,这个现在 studio display 接的是这台啊,麦克 studio, 然后这个电脑实际现在是空的, 就是是没没有接这个电屏幕的,但是呢,这个鼠标,你看这鼠标它挪到这里来就可以自动过来,然后呢 挪到这边又就是又自动切换到,就鼠标在这块的话,可以是是 mac studio 的, 往这边一挪就自动切换到了啊,这个我的这个 macbook 键盘也是一样,你看我放在这里呢,打字就打到这了, 然后拉到这边来的话,就打字又打到这边来了,基本上是无缝切换的,苹果这个接力的功能也很好用。好嘞,现在已经开始下载了。 我下载的是千问的三点五三九七 b 的, 但不知道能不能带的起来。一共是一百七十七个 g b 的, 应该差不多吧。 行了,我已经问下载好了,我,我要去睡觉,可不可以? codex 说可以,现在要去睡觉了, 我们就看看明天早晨来的时候 codex 可以 安装完吗? 这边还在不停的下载。好了,实在太困,下班了,回家了。

信 m 五 max studio 出来以后,有人叫他评价 ai 主机五四九九美元起,最高五百一十二统一内存,还说六台连起来能在本地跑两万亿参数的大模型。听完以后很多人可能就在想,那我是不是买一台以后就不用再给各种 ai 续费了? 但你仔细一听,五四九九五一二 g 六台机器这几个数字根本不是一回事。五千四百九十九美元,指的是 m 五百一十二 g 内存的价格。 五百一十二 g 的 那个版本, apple 说是十月底才会有,那多台 max studio 确实可以连起来, apple 官方也写了几台机器接在一起,可以分别跑同一个模型。那六台能跑两万亿的参数成本是英伟达方案的一半。是 是网上有人按自己的算法在算,不是 apple 做过的公开对比。你别看到这句话就以为买一个插上电装上软件就能跑的模型了。 六台就算都按最便宜的 m 五 r 上算,就已经有三万多美元,还没算你的内存往上配硬盘网络。还有没有人会把模型装好,让几台机器一起干活? 那它到底适合谁买?我觉得是手上有一批资料,确实只能放自己手里的人。比如一个小团队,每天都要让 ai 帮忙看客户报价、合同,内部资料这些东西,你不要想着一份一份按量付费,也确实会越用越心疼。 那这个时候把模型和资料都放在自己的机器里,才是真的有必要算这笔账。但如果你平时就是查资料写脚本,让 ai 帮你改几段代码,绝大部分时间都在网页和 app 里面完成,那先别问他能跑多大的模型, 你现在到底被什么卡住,就先解决什么,要是没有什么不能上传云端的资料,也没有说每天必须要在本地反复跑的活,那买一台五百一十二 g 的 map studio 多半解决不了你现在的问题。 你可能只是从每个月给 ai 续费变成一次性买一台很贵的电脑,然后继续在网页上用 ai。 所以 n 五 mac studio 当然非常厉害,但它确实让本地法模型这件事令更多人近一点。但本地 ai 主机这几个字别 听成所有人都该买,你先找一件自己每天都在做又确实不能把资料传出去的事。如果真的是这件事情卡住,你再去看五百一十二句,不然买回来以后机器很强,自己平时运用不上,那就有点可惜了。你觉得呢?评论区聊一聊,我是罗刀刀,你的保障阿俊。