粉丝456获赞5543

先说结论,我选择的是千万三点五三十五 b a 三 b 四位量化模型。大家好,今天这期视频我们来解决一个非常关键的问题,当你买了一台 max studio 后,到底应该怎么选择模型?怎么选择推理框架? 下面介绍三种最主流的模型格式。官方模型格式通常是官方发布在哈根 space 上的模型,采用 pad 加 gpu 训练完成, 这个是最原始的模型格式,特点是精度最高、最完整,适合训练,但不适合推理,并且非常吃显存, 不适合直接在本地使用。一句话,这个是用来训练的,不是用来直接跑的。第二种是 g g u f 格式,这是目前最流行的本地推理格式,它的特点是模型经过量化,兼容性很强,可以在 n 卡 a 卡 mac 电脑上都能运行。 第三种是 m l x 格式,这是 mac 电脑的专属格式,它的特点是专门为 mac 电脑设计, 利用 mate gpu 内存统一调度,在 mac 电脑上性能比其他两个格式更快。再来介绍一下模型的分类, dos 模型和 mo 一 模型。 dos 模型就是稠密模型,意思是每一次推理所有的参数都会参与计算,因此速度会相对比较慢一些,大约三十五 to 每秒。 m o e 模型全称是混合专家模型,特点是每次激活一小部分参数,因此它在本地设备运行时速度会非常快,大约可以达到七十多个每秒。 mac 电脑上常用的大约模型推理框架软件有三个, 分别是 o m l m studio、 o m l x。 这里推理性能最好的就是 m o m l x, 专门用来推理 mx 格式的模型,比另外两个推理软件要快很多,所以在 mac 环境下可以无脑选用。我在哈根菲斯上下载了下面这几个模型,官方版本的千万三点五二十七 b 四比特, 千万三点五三十五 b a 三 b 四比特。千万三点五三十五 b a 三 b 八比特 还有第三方的蒸馏模型。利用 cloud 四点六蒸馏的两个模型,由于进行了针对 os 的 蒸馏, 其推理思考能力应该会更强一些。但是这两个模型不能直接通过参数来关闭 sync 模式,所以每次调用时都会 消耗很长时间在思考。有时候在做简单任务的时候会有一些繁琐,所以在处理简单任务的时候,我会选择官方版本的模型并关闭 sync 模式,这样更快一些。再看一下四位和八位比特以及输入 token 与占用内存的关系。通常在 open craw 或者 cloud code 中,调用 agent 完成任务时都会有很长的上下文,因此输入 token 都会很长,这会影响内存的占用。 通过这两个表我们可以看出, token 越多,占用的内存也就越多。考虑到还需要加载纹身图的图像模型,所以必须控制模型的量化位数,因此最终我选择千万三点五三十五 b a 三 b 四比特模型 或者对应的帧流模型。下面我来实操一下在 max studio 中如何使用 o m l x 这个软件来调用模型。好,我们现在通过远程来登录这个 max studio, 你 可以在这里 点击双击 o m l x, 它就会出现在右上角这个 toolbox, 这里点击右右键就可以 chat chat with, 而且这里就可以直接跟他聊天。当然我们可以看一下左下角有个后台管理,这里有一些可以设置的地方,比如说它当你加载了一个模型之后,你就可以直接通过这些啊, a p i 的 a p i 和 cloud a p i 也可以通过这个命令行直接将它集成到 cloud code 里面,或者 codex open code 和 open cloud, 这都支持。第二个就是模型的管理,我下载这六个 也可以从 facebook 上直接下载,也支持了摩达社区,这里有一个全局的设置,比如这里设置了一个 a p i 的 密钥,设置模型的下载目录或者加载目录。这里有一个地方需要注意一下, 我下载的这个千万三点五的模型是上下文支持两百五十六 k, 所以 这里一定要填这个东西,因为它默认的那个最大上下文窗口大概只有三十二 k, 如果这里不改的话就会报错,所以这个 一定得把它改过来,改成呃你的模型最大支持的那个数。再就是这个模型的设置,比如说关闭这个 thinking 模式,你在这里要把这个添加一个 enable thinking 这个参数,把它设置为 force, 而且最好是强制的, 就可以保存。你下次再调用这个模型,它就不会开始那个 thinking 模式。但是对这两个蒸馏的模型,你关了这个也没用,内部始终是把那个 thinking 模式打开的,所以如果你不想用这个 thinking 的 话,你就用这个官方的把这个参数给关掉。 如果你想用 sync 模式的话,可以考虑用这两个推理的蒸馏过的模型,这里是日制分析,日制可以看一下它的调用,这里是这个性能精准测试, 可以来用来测试你下载的模型的精准。比如我们来测一下这个稠密模型,千万三点五二十七 b 四 b 的 比特的这个模型,看看速度怎么样啊?这里跑完了一次这个稠密模型的基本测试, 可以看到它基本上它的速度是在三十一点八 to, 每秒并发的话可以达到四十, 我们再跑一个 m o e 格式,这也是斯比特的这个跑完了,这个是比较快的,它可以达到七十八 to, 每在本地 使用这个 m o e 来跑这个 agent 应该速度是够的。 ok, 今天就讲到这,下期就讲一下如何在 max studio 上运行这个纹身图模型。好,下期见,关注我 ai, 分享时尚技巧,我们下期见。

等了接近一个月左右的时间,我新买的那个迷你东西到了啊,然后接下来我要用它跑一些本地模型,现在大家看一下整个一个流程。先看一下配置,我这个芯片是 m 四 pro 的 apple 芯片,然后内存的话是六十四 g 的。 我用的推理框架呢,是这个这个小企鹅的这个 o m l x, 它是一个针对苹果芯片专门做了优化的一个推理框架。嗯,可以在 github 的 开源仓库里面找到它, 然后你可以去找他最新的一个安装包,直接把这个程序下载下来。那我现在我启动它,这里是因为我已经配置了端口和 api 密钥,所以正跳过了一步,正常的话会有一个配端口和密钥的一个过程, 配置好之后可以在这个上面能找到它。我先把这个服务提起来,可以看到 o m x server is starting。 稍等一下,好,提起来了,那这个有个 admin panel 可以 进入到这个管理后台。 在这个管理后台里面,呃,我们首先能够看到的是一个仪表盘,这里面包括你总共用了这个 token, 然后包括这个命中缓存的这个 token, 这就是它所做的这样一个优化。 这个命中缓存的 token 呢,能够极大程度上提升整体的一个推理数率。 我这边现在把 token 全部清除掉了,正常的话会把你所用的 token 全部记录下来。 然后我们选到模型这边有一个下载器,刚开始这个管理器是所有的模型一个列表,正常我们先到下载器这边选择 hugging face, 然后这里有一个模型的列表, 它是会根据你系统的一个情况来给你推荐合适的模型,那我是一个六十四 g 内存的一个系统,它会给我推荐这样一个配置,这有个仅 m l x, 我 们把它勾选去掉。 呃,我一开始是下载了这个千万三点五二十七比特四点六 oppo 十的这样一个帧率模型, 但实际上它也提示过了内存偏紧,我正在用的时候发现根本是用不了的,虽然它这里大小只是五十一点七 g, 对 吧?然后我这边设置模型,设置全机设置。 我先设置这里啊,在这里有一个内存限制总量,然后我这边设的是百分之九十七,这样有个六十二 g 的 可用的内存。 然后内存限制是针对模型的,我这里设的是百分之百,但其实可用的也只有五十六 g, 对 吧?所以这个五十一点七 g 的 模型跑起来还是非常勉强的, 实际上我根本就没有把它跑起来。首先我们点下载,下载会在最下面有一个,下载了一个进度条,这个下载还是比较慢的, 整个把它下载也可以啊。还有一种下载方法,因为他这边的一个进度条特别不明显,比如说我随便点一个给大家示范一下,点一个我也没有下载过的模型, ok, 它这个进度条特别不明显,看不到数据,然后整个网速又非常的慢,那就非常的让人难受啊。这个时候我们有一个什么办法呢?比如说这个模型,对吧?把它名字拷下来,直接去 hugenface 下载 这个。 然后我们要看一下我们现在这个模型存在哪。这边我网络有点慢,在设置里面可以看到模型的一个目录,现在我去找到这个目录,在 finder, 然后用户, 然后正常这里面是不显示一些隐藏的文件夹,我们按住 command shift 加点,把它显示出来,然后这里面点 o m l x 呢?就是我们的这个推理框架,这个模型存在这个 models 里面, 这是我现在的这几个模型,然后这个 ctrl o c r two, 这个应该是我们刚刚正在下的,对吧?所以其实我们看到它下载的模型是在这个 models 里面的。好,现在我把这个模型停下来, 我不想下载这个模型,好,我把它删了。 ok, 假如说我们嫌它在这下载的太慢,那我就可以去 hackinface 把它仓库地址直接 get the clone 下来, get the clone 到本地之后, 再把这个模型的文件夹直接拷到这里面来,就可以正常使用了。呃,我的这个千万三点五二七 b 的 这个模型就是这么子下下来了,下载完了之后直接把它拷过来。 ok, 现在我们试着用一下,然后这个模型,我如果选择原始的模型,我给他发一句,你好, 因为我们刚刚看到我们实际模型可用的内存只有五十六个 g, 然后它这个模型跑起来是需要五十二个 g 的, 实际上我跑下来发现,呃,根本 没办法让它跑起来。好,报错了, arrow network, arrow, 这个我不知道为什么报这个错误啊,但其实很有可能就是内存不够所导致的。 现在先不管它,我切换一下,我们是有办法的,不是没有办法使用它。在这个模型下载器旁边有一个 o q 量化的这样一个选项,在这个量化选项里面呢,我们可以选择我们现在这个原来的五十二 g 的 这样一个内存 的模型去给他做一个量化,然后这里面有不同的量化级别,每个量化级别所产生出来的模型大小的尺寸是不一样的。 这里选到一个 q 八是因为我这边可以看到产出的二十七点五 g, 我 这明显就可以使用了,所以我选到了一个最高的 q 八的战队级别,这边级别越小的话,这个量化的出来的尺寸更小,点击开始, 呃,点击开始就可以看到量化队列里面会有这样一个进度条,在这个过程中呢,你的 mac mini 会跑起来,你能够听到那个风扇嗡嗡的转起来, ok, 我 这个就不等了,我把它去掉,因为我已经有一个量化的 q 八的这样一个模型, 好,我把它删掉。 ok, 量化完成了之后呢,会在管理器这边模型,管理器可以看到量化好后的模型,我量化这个 q 八大概用了十分钟左右, 然后我现在选到这个 q 八的模型啊,设置模型,设置,然后把它激活, 我现在给它设成了一个默认的模型,而且呢把它的这个地方有一个聊天模板的一个参数可以添加,然后我刚刚是添加了一个 enable syncing 的 这样一个选项, 这个地方呢做的不是很好,这里面选择一个 force, 就是 不要让它去思考,避免它生成的太慢,它会过多的思考,导致产出的速度非常低,然后保存一下就可以了,这样现在是一个已加载的一个状态, 那我就跟大家聊天再试一下,你好 好,终于出来了, 这个过程大概等了三到五秒的样子啊, ok, 六秒,实际思考用到六秒,然后这是他的一个回复,你是什么模型? ok, 这是我们平常正常使用的这样一个效果。然后这里还给大家安利一个输入法,因为我们在做一些复杂任务的时候,可能会需要输入大量的一个提示词, 然后我就装了这样一个软件来通过语音快速输入,这个叫做智普 ai 输入法,大家可以去搜一下智普 ai 输入法,然后这里面可以去设置一个快捷键啊,选中它,然后按下你的键盘上的键, 对吧?然后我这里用的是一个右边的 ctrl, 那 这就是我的一个快捷键,配置了这样一个快捷键之后,我就可以使用它了,比如说我要在这个里面去用我的语音输入,选中,对吧?然后按住右 ctrl, 可以 看到这个屏幕下方有一个开始说话的这样一个标识,这个时候呢,字谱就开始识别我的语音,并把它转成文本输入进去了, 对吧?这是我放手之后的效果,它的语音识别还是挺准的,而且这个逗号啊,句号啊,标点这个符号都打的挺好的,这就极大程度上提高了我们的输入效率。 他这个地方甚至还有一个功能叫做节省时间,我这个也就装了没两天啊,他告诉我已经节省了我十一分钟了,这我用一个月,一年下来,那还了得,对吧?还是挺方便的,挺好用的。 那么我们现在问他一个复杂一点的问题,试一下 o m l x 框架对于苹果芯片做了哪些优化? 发出去看一下。 嗯,现在这个 token 的 生成速度还是偏慢的啊, 可能我要换更小的这样一个量化模型,会让它的速度有一个提升。 ok, 可以 看到内存的优化,计算单元的优化,然后看不太懂,不用管了,反正能用就行,对于我们来说, 嗯,但是它这里面知识库应该是有问题的,这个不是苹果公司做的,还是略微偏慢呢,整体的这个速度 ok, 基本上这就是我们的这样一个使用的流程。 然后呢,在这个仪表盘里面我们可以看一下,这个是我们刚刚总处理了一个特别数量, 然后他提示词处理,大概是二十三点二 tokins 每秒,然后每秒生成八点六个 tokins, 这大概也就是两三个字吧,两三个中文汉字,然后这边还有个机准,我们去看一下, 看一下他的一个机准测试表现怎么样。 ok, 跑完了,我们来看一下效果怎么样啊?还是这个 q 八的一个量化了, 然后这个里面幺零二四指的是提示词的一个输入,一百二十八呢,是一个提示词的输出。在这个里面是有一个介绍的,就是这样一个场景,它生成的 token 率是八点七 token 每秒,对吧?然后但是当我们的输入达到了四零九六的时候, 它还是能够保持保持一个八点六 token 每秒的一个生成率,所以说这个效果还是蛮不错的。然后接下来是一个 p 处理的, p 处理的话,相同的提示词,然后通过同时处理两个,同时处理四个,可以看到它是有个加速效果的,同样的时间内,它相对于输出的 token 数量更多了,也就是说当我们有更多的一个并行的 请求存在的时候,这个算力才能够更好的榨干。 ok, 总的来说,这个 o m x 框架还是蛮不错的, 在我们本地跑模型还是比较丝滑的,给大家强烈安利一手 ok, 这个教程就到这里。

云端 ai 托盘太贵,这节课教你本地部署 ai 大 模型,零成本使用纤维三点五,彻底告别托盘焦虑。我们这里会使用 o m l x 来运行大模型, 点击这里,请直接到下载页找到最新正式版本,未来稳定期间请不要找标注 dv 的 版本,找到后点击 s s, 根据操作系统版本下载。安装方法非常简单,直接拖拽过来即可。安装完成后直接运行,初次打开会弹出提示页面端口和其他的保持默认,点击启动服务, 提示成功后再点击。打开管理面板,在顶部的菜单中也可以实现这些操作。管理面板打开后接着安装模型,在顶部菜单,点击模型下载器页面,打开后用最快的速度点击摩塔社区,这是因为打开这个页面后会自动联网查找模型,但是由于网络不通问题,可能会导致页面卡死, 我们快速切换到摩塔社区,让它来不及联网就不会卡住了。点击模型下载器旁边的设置按钮,修改镜像地址为 h f mirror 点 com, 点击保存按钮,现在可以切换回来了,在搜索框里搜索千问三点五九 b mx 杠 speed 这个模型,这个模型的性能对一些常规需求已经非常足够了,运行起来大概占用六 g 左右内存,最低配置十六 g 内存的 bug, mini m 四都可以流畅运行。找到后点击下载按钮,因为我这里已经装过了,就不重复下载了,等待下载完成后会自动安装。再设置 模型,设置里可以看到已安装的模型,点击最右边的设置按钮图标,这里推荐设置聊天模板参数,点击添加设置 enable sync 值为 force, 不 然每次聊天呢,它都会思考很久。其他设置大家根据自己的电脑配置来调整,完成后点击保存,点击就绪按钮 会变成已加载状态,模型已经运行起来了,点击导航栏的聊天按钮,确认下顶部选择了正确的模型。现在啊,可以直接发消息给他, ai 会马上进行回复。 回到仪表盘里可以看到 tok 统计信息。总结下,在 mark m 系列芯片上,可以使用 o m x 来运行本地 ai 大 模型,彻底告别 tok 焦虑。低配置的 mac 电脑推荐使用纤维三点五杠九 b, 这个模型只占据六 g 左右内存, 而且性能足够使用,完全可以用来驱动 open core 文字版内容请看课程讲英文档。下节课我们继续学习 open core 的 安装,并对接上这节课所部署的本地 ai 大 模型。

这两天我很兴奋,因为 mac 上终于出现了一个高性能推理框架,这就是 o m l x, 它能让你用极低的功耗,带着好几个像 opencl 这样的 ai 智能题,二十四小时不间断的为你写代码跑任务。今天我们就手把手把最强的 q n 三点五部署进去, 别看代码怎么写,直接看结果。在并发请求下, o m l x 的 生成速度直接飙升到四点一四倍。最离谱的是场上下文对话, 以前改个前缀要等一分多钟,现在靠着热内存加 ssd 的 黑科技,首次响应直接接近五秒以内,这才是本地大模型该有的样子。废话不多说,三分钟实战指南跟紧了。第一步,极速安装,你完全不用去管那些折磨人的排查依赖环境, 直接下载 dm 机包,拖进应用程序,或者像我一样在终端银行 homebrew 命令搞定安装,顺手把后台服务也给起了。 第二步,一键下模型,点开你 mac 状态栏那个原声管理后台,不用去研究什么复杂的命令型参数,直接在模型下载器里搜索 q y 三点五推荐选那个极具性价比的二十七 b 量化版,点一下下载就完事了。 第三步,零配置起飞,在后台直接点加载服务,瞬间就能启动,这时候它已经是一个完美的 open ai 接口平替了,地址就在本地八千端口,不管是接入 cloud hold 还是 opencloud, 直接就能原地起飞。为什么我一定要推这个框架赔千万? 因为本地跑模型最怕的就是工具调用解析翻车千万用的是一套很特殊的 xml 格式,传统框架经常解气报错,导致你的智能体直接罢工。 o m l x 底层内置了针对性的解析器,全自动识别处理,这才是真正的丝滑。另外,千万在某些情况下容易陷入死循环。复读 oem l x 后台支持直接配置,存在惩罚参数,这绝对是一剂对症良药,能有效压制重复输出,保证代码生成的质量。别再犹豫了,赶紧去 mac 上跑起来吧!

这个就是我在某鱼上面不到五百块钱买的一个 mac mini。 这个我买过来准备打造个人 ai 助理。呃,给它这个系统恢复了出厂设置啊,现在系统比较老,准备先给它升级一下。升级到最新。呃,升级一下系统,看下它的配置。 英特尔酷睿 i 五处理器,二点五 g 十六 g 内存,一百二十八的硬盘, amd 的 显卡。先正在研究把它这个系统升级一下, 虽然这个东西比较老,一一年的,目前的流畅性还是很好。等我等我升级系统以后再看一看。

好,兄弟们,今天给大家录一个视频啊,这个视频比较长,就是在你的 mac 电脑上如何部署一个大模型,这个叫 o l o m l x, 点 ai 啊,下载一下,然后安装,安装好了之后启动,我给大家演示一下,启动啊,先退出一下,就是这个这个程序啊,启动 好,右上角已经启动了啊。启动之后,启动之后会让你设置,你就保持默认,然后设置一个密码,比如说我这里面设置 s k 杠一二三,然后保存,保存之后的话它会弹到一个网页, 这个网页我给大家看一下啊,就是这个 admin panel, 就是 管理员的后台,然后让你输入一个密码,就是刚才设置的 s k 杠一二三四,然后进来之后,这边会展示你当前呃, 当前电脑的一个配置信息,模型的配置信息,这里面是本地模型,你一开始打开的时候其实是没有的,然后你也可以去下载 这个地方,设置全区设置,往下滑找到你的模型目录,因为这是我的 l m 四六六的下载目录,然后这个是 o m l x 的 目录,所以我添加了一个 添加,这是 l l l m studio 的 这个目录,添加完了之后,我在这个模型里面就会看到了,这是我所有的模型, 然后你可以跟他聊天,呃,选择模型,然后跟他聊天,他会载入你的内存里面去,然后这边还有一个东西叫做 community benchmarks, 这是什么呢?这是测试你的电脑运行的模型,然后还有个量化版本,上下维大小,以及在这个芯片内存下面它的这个跑的 talking 的 数量, 你也可以把自己的测试结果上传上去,就就没了,重新打开啊这个地方, 也可以把这个东西接入到你的本地编程软件,或者是一些对话的软件里面去,这是它的这个地址,然后刚才那个 k, 也就是 s k 杠一二三也是可以的。 这个基本测试,基本测试就是选择你一个模型,比如说我选一个英文打的,然后测试这少的少测一点嘛,测试这两个他就开始测,把这个载入到内存里面去,开始测试 在我这台电脑上跑这个模型的性能怎么样,这边大概达到八十一 talking 每秒七十二。然后它测完之后啊,会把这个测试结果上传到 他的这个社区的 benchmarks, 其实就可以看到我的这个呃测试结果。当然如果你要想自己在本地配置的话,你可以在这里面选,选择你自己喜欢的这个 配置,比如说我配 m 三 ultra 的 顶配,看看别人跑的怎么样,结果五百一十二 g 内存的是什么样子的。然后量化位数也可以调,比如说八位量化的结果 跑千万的三点五大模型,这边可以达到七十三个 talking 每秒, 这里面也可以选其他的模型,这里面页数很多啊,你看 m 一 mini max 杠 m 二的 才达到九点六,这说明这个 mini max 杠 m 二其实还是挺牛逼的,所以跑得很慢。输出的结果,输出的套根数,我们看这边的结果好了没, 这边结果好了,然后这边会说已上传,这边两个 uploaded 已经上传了,点开这就是在我这台电脑上跑的这个英伟达这个三十 b a 三 b 的 这个结果 可以看一看,可以达到八十一 toky 每秒,然后配置信息啊,内存啊, 还有这个 gpu 的 核心啊,四十核心还是可以的,上下文的长度在一 k 的 时候可以跑到八十一使用了,内存顶峰是三十二点九 g, 这个速度什么的还是还是行的。还可以的。这个 p 四四叉表示有四个病发请求,它的这个每秒数速度的话是一点七七倍,比单个的话要快一点,所以还是可以的。这个 这个功能,这个软件的功能还是很强大的,尤其是设置模型里面,这个你可以去看一看,比如说这是我本地的可用模型对不对?我可以点一下加载,然后看加载一下, 然后把它固定住就是。呃,这个是默认的是吧?可以把它点成默认的,然后还可以设置这个模型的参数,这个自动的话就让它自动吧, 因为这个平台 m l x 是 苹果的,这个 ar 的 平台。上下文,然后 top p, top k, 最大 top 位数,温度都可以调,调完之后点个保存就完事了, 现在已经默认加载了,对吧?那然后点个聊天,选择这个看看效果啊,你是谁?这个速度还行吧?耶,这个英文答案怎么是通缉千万啊?我去, 你支持图像识别吗? 这个速度还是可以的。 ok, 今天就结束了啊,反正就是这个,可以去看一看。我觉得这个还是挺强的,而且它的这个 get 好 像是开源的, 现在已经二点四 k 了。才开源多长时间?反正很快,这边有说明啊。好,今天就这样了。

期视频依然是来折腾这台一百块钱的 mac mini, 因为这台 mac mini 的 功耗和性能都是比较低的,所以我想着正好可以用来做一个 max, 在 大系统上选择,我选择的是飞行 max 开机,然后按住 alt 键,如果你是苹果键盘的话,摁住 option 键, 然后可以来到这个启动菜单的选择界面,然后选择你制作的启动硬盘,选择飞牛,然后因为这个老款的是不支持安全启动,所以要选择第二个呃 group 二的安装模式, 现在就可以进到飞牛的安装界面,选择自己电脑中这个词盘,然后选择一下系统分区, 可以在移动端的飞牛 app 或者是在网页端来初次化你的飞牛 nars 通过 smb 文件共享协议,然后通直接用 windows 来连接它,然后试一下它的文件传输的速度,考一个飞牛 o s 的 文件过去, 可以看到是保持在七十五兆哎,一千兆的速度, cpu 占用率是百分之五十五,内存占用是一个 g, 有 的时候会波动一下, 基本上是跑满千兆, 然后再看一下读取的时候速度是多少, 目前来看读取基本是全程稳千兆, 目前是在硬盘在启动的状态下,是功耗是十七瓦, 然后如果过一会待机情况下应该还能更低一些,因为苹果对 mac mini 这个产品的定位,它的功耗和风扇的噪音都是比较低的,用来安装这么个 nars 也是非常不错的选择。

本期视频依旧是这台一百块钱的 mac mini, 然后我通过 opencar 这个软件给它升级到了麦克 s 十一比特索,然后呢,给大家带来一期这个的体验视频,然后还是先过一下它的配置,是一个一代的 i 五处理器, 然后 d r 三的两 gb 内存和一个三二零的英伟达的显卡,然后硬盘上是装了一块二百五十 g 的 固态硬盘,然后给大家测一下软件打开速度啊,大家先看这个微信,需要二三四五 六条才能给它打开,然后再看一下这个浏览器,然后就把它打开,整个速度比十点一三这个系统慢了非常多, 主要是就两个级别内存装光装系统就占了不少,还有需要存这些软件的缓存。这个 app store 还挺快的,好像只需要两三条就打开了, 然后再测一下音乐舞跳给打开了,但整体体验效果呢? 说起来也不能说特别差吧,但如果你有实力,你给就升级到四 gb 内存条,四 gb 内存的话能我觉得能好不少,像个音乐就是 apple music 嘛,也可以正常登录,你可以正常听你自己文件,家里收藏歌什么的。 原系统的 wifi 是 不支持五 g 频段的,只有二点四 g 频段, 它相当于是给了一个软件锁,给你锁住了五 g 频段的。当你那个更新了新系统,或者是把你的机型模拟成高一点的机型,新一些的就可以连五 g 频段 wifi 了。换成五 g 频段 wifi 之后,你的网速得到了一个巨大提升, 如果你这样下载东西的话,能比之前能快个三四倍。网盘吗?基本是能跑慢你自己贷款的,如果充会员的话,然后基本是十五兆左右,那如果是之前那个二点四 g 频段,顶天也就五兆。 像现在比如你搜一个网页,它整个加载速度是非常快的,像之前整个也等老半天了,现在这五 g 速度特别快。 其中要讲一下是这个微信,然后微信我这个十一版本正常,官方现在是不管从网页端下还是 app store 下都是不能违法登录的, 但我这个版本是三点八点十,大家如果有需求的话,可以下这个版本,然后这个版本它是可以正常登录的,而且兼容性还比较好,是从十点一三版本一直到蒙特瑞以下的,而且它自带的最高版本十点一三。你的微信呢? qq 啊,像什么同学会议, 然后剩下的基本大部分软件你想找也能找着,它的对应版本都能正常安装。像我这台一零年的机器,它原本是带光驱的,所以在启动转换助理里,它会显示需要拿光驱插光盘才能来装双系统, 但如果你是没有光盘,嗯,就装下来,就你需要拿外置光驱。但是如果你用这个软件, opencar 这软件给你升一个不带光驱版本的机型, 你就新装,在助理里就不会有这个了,就可以正常的安装 windows 十系统。但如如果是十点一三以上,十点一三以前的,你也可以装 windows 七系统,这点还是比较赞的。 总的来说,这么一台一百块钱的 mac mini 来装这个 big 四系统,我觉得是非常不值得的。它主要是内存,我这个内存只有两个 gb, 也太小了,然后装起来用起来是卡卡的。然后如果你是以前的十点一五个卡特琳娜系统的话,你 可以再试一试,可能比我这个能好一些。然后如果你双系统没有光驱,你也可以考虑这个方案,你可以改一下机型就可以了。然后如果你是一些软件,必须需要 呃更高版本,你也可以采用我这种方案。你可以不同机不不一样的机型采用我这种方案。用 opencar 也升级升级到更高的系统来兼容更新的软件,然后使得这台机器可以继续为你服务。然后如果你也有这类似的老机型,你可以尝试一下我这种方案。然后感谢大家观看本期视频。

最近啊, mac mini m 四又火了,就是因为那个从 cloud bot 改名为 mod bot, 最终啊,又命名为 open cloud 的 ai 工具。现在很多人啊,都想搞一台全天二十四小时待命的个人贾维斯。 确实啊, mac mini m 四啊,本身就很强,但是如果你真想用它来搭建本地 ai, 有 几点啊,你真的要注意。首先啊,想跑 ai 模型的话,那些对话记忆 只是酷训练数据这些在使用的过程中啊,持续产生的数据,确实是个存储黑洞,两百五十六 g 啊,根本不够,五百一十二 g 啊,想跑训练久了可能也有点费劲,但如果直接上大内存的版本, 这个价格啊,都会再买几台 mac mini 啊。我的省钱方案是啊, mac mini 啊,就入手盖板就行了,之后直接外接个固态硬盘来扩容。另外,想要模型加载快,数据供给顺畅的话,外接硬盘的传输速度也很重要。 本地读写速度啊,也是 ai 本地推理训练效率的关键。这么看来啊,想要搭建一个真正的个人假维斯,光有 mac mini m 四还不够,你得给他配一个传输速度快,传 输空间大的硬盘盒,至少十 g 二十 g 起的传输速度,再加上几 tb 的 传输空间,才能真正发挥 mac mini m 四的实力。 前段时间啊,我按照这些需求啊,到处找了一圈,最后锁定了阿卡西丝的 m 零零二 pro。 前面说了,咱们搭建个人假维斯最怕什么,就是存不够,刚好他这里有两个硬盘位,可以塞两块最大八 tb 的 固态硬盘, 直接就是十六 tb。 十六 tb 放在那 ai 模型啊,随便装知识库呢,随便建训练数据啊,随便存空间啊,直接管够。然后是速度啊,这个才是我选它的核心原因,开个锐的零模式啊,直接飙到四十 g, 你 们想啊,跑 ai 的 时候 图形要加载,训练数据呢要读取,检查点呢要保存,这些操作全都要从硬盘里拿数据, gpu 的 算力再强啊,但硬盘速度太慢,性能啊,直接拉跨。有了四十 g 的 速度,训练数据读取嗖嗖的。最后是散热和防尘,这很多人啊,可能没注意到要二十四小时开机,跑 ai 这些啊,真的很关键。 m 零零二 pro 是 一比一开模的,铝合金设计,完美搭配苹果美学,这就像给 mac mini 啊穿上了一层散热机甲,一眼看过去啊,像不像 mac pro, 颜值和格调直接拉满,加上上下全开孔,热量直接散出去,我挂一整周啊,摸上去啊,也不怎么热。而且啊,不止是硬盘盒,前面三个 a 口啊,可以接移动硬盘和 u 盘, 后面两个 d p 口啊,支持双四 k 显示,顶部还有 s d 和 tf 卡槽,相机拍的素材啊,直接导一盒多用。总结一下, mac mini m 四啊,是个好东西,但想当真正的 ai 服务器,存储容量和传输速度啊是关键!正在搭建 ai, 想让 mac mini m 四啊存储和速度飞起的朋友阿卡西四的 m 零零二 pro 啊,赶紧试一试!

今天我们讲一个用闲置的 mac mini 做家用服务器的一个教程,先我们 mac mini 开机以后,找到系统设置,然后找到通用,然后共享,嗯,把这个远程管理打开, 然后呢我们把这个用户设置好,用 mac mini 来做 nas 最大的好处,做服务器最大的好处就是你可以直接把拍摄的素材,然后把它挂载到 mac mini 上,然后呢再用我们的另外一台电脑主机,然后就可以来再以 nas 的 形式通过局域网来给它进行剪辑,这样的话你的素材就不用保存两次,你只要保存到 nas 里面就可以了。 然后我们到 mac mini 上找到通用,点击共享,打开文件共享,然后在后面这个感叹号点击加载,这个我我已经加载过了,所以说这里就显示的,那我要删除了,我把它重新加载一次。 好,那我重新加载一次我的移动硬盘,那这样的话我就可以在另外台电脑上去访问这个移动硬盘,这样的话他就形成了一个纳斯一样的效果。而上面的这个硬盘, 呃,这个文件夹相当于是本机的,就是 mac mini 本机的,它也有一定的储存,你也可以把它当做一个储存空间来用。然后下面的是我们外界的硬盘,我们外界上去就相当于你的 n s 接了外界的硬盘,这种感觉是一样的, 当 mac mini 连接上路由器以后,这样会更稳定一点,用有线连接,然后这个盘挂载上去呢,就相当于是我们的剪辑盘, 然后呢这个是相当于是一个读卡器,它是雷电四的接口,然后呢把卡插上去以后,你就可以顺势的把素材拷到剪辑盘里面,那以后你的另外一台电脑就可以闲置出来很多空间,然后并且每台设备家里面局域网台,每台 设备都可以访问 mac mini 作为 nas 上面的文件系统,这就是苹果自带的 smb 文件系统,非常的好用。 换一台电脑来演示一下,用这台电脑链接到刚才那个麦克迷你做的纳斯上的一个调色和剪辑,以达芬奇为例, ok, 我 现在项目设置已经设置好了,我现在只要找到文件,找到这里, 这个就是局域网中他的文件,这是我挂载的文件,然后, ok, 我 点进去,然后找到我拍摄的素材,我随便选几个, 速率还可以,很快。 ok, 我 们把它拖到时间线上。好,我们现在就可以剪,我们现在就可以对它进行调色和剪辑了, 可以试一下这个反应快不快,还是还是很快的,跟你插在自己的电脑上没有什么区别。下面我们来看一下手机上怎么操作。打开手机找到文件, 然后点右上角连接服务器,要输入一个 ip, 这个就是 mac mini 的 ip, 那 我这个 ip 是, 嗯,这个 ip 你 可以根据那个路由器上面的那个后台管理可以看到,我们就点这个,然后这里我已经输好掉了,输好掉我点这个打勾,然后马上就连接上了, 就是刚才我共享的那个用户名,然后这里就可以查看我挂载好的硬盘,或者说他也可以是一个家用的纳斯。好,我们随便点开一个,你比如说点开这个调色好的 就可以播放,这样的建议是用有线连接这个 mac mini, 这样的话速度会更快一点。好,我们打开看一下,可以直接播放看,我 来,这样你手机也可以访问这个家用的 nars, 或者你拍好的素材等等,我们换一个。速度还是快,看,我再换一个 转回来,慢慢的几乎是没有延迟的,是连的,一开始会有一些延迟。

mac 本地跑大模型,这次我测到新工具 o m l x, 渐变漂亮,关键还能接 call 令 agent。 大家好,我是 ai 学习的老张,前面我测过 l m 四六六跑卡多, office 四点六蒸馏版 q n 三点五杠九 b。 这次继续是 o m l x。 先说结论,它完成度很高,菜单栏一键启停服务,有管理后台和聊天界面,还能对接 codex opencode 也支持 m c p openai 和 atripic 兼容接口,实测数据也够看,单请求大概二十 togg 每秒,峰值内存约五点七 gb。 九 b 在 mac 上已经能正常完,输入拉长后速度掉的不明显,但你要是奔着二七 b 去,我劝你先冷静,我这边怎么调都跑不顺。 o m l x 直接没法硬上 i o m studio 倒是能勉强加载,可一执行任务机器就卡死。 九 b, 可以 玩二七 b, 最好上三十二 gb 统一内存。我的判断是 o m l x 很 适合想在 mac 上折腾本地模型和 coding agent 的 人,完成度高,但小内存 mac 别想太多,还是顶不住物理限制。