用Mac Mini能分币不花的养龙虾吗? 用Mac Mini部署本地算力,能实现分币不花的养龙虾吗?养龙虾最大的成本token的费用,也就是算力。那现在最简单的方式就是接入阿里云 腾讯云 火山云上的大模型,你每次使用都会消耗算力,所以这是一个持续付费的过程,要是使用频繁一个月花个几千块钱买token,也是稀松平仓,然后另外一种所谓分币不花的方式呢,就是一次性投入买一个硬件,然后在里面部署一个开源的大模型,类似Kimi/千问/DeepSeek这种,为了省下token费用,我花了将近4k买了个丐版macmini,经过尝试 想分币不花的使用本地算力养龙虾基本没戏,下面我说说原因啊,我选的这个90亿参数的qwen3.5:,算是能力比较低的模型了。但要想让他发挥全力大概需要18gb显存。而我这款钙板macmini最大调动显存也就13g左右,好在Ollama这个工具可以量化压缩模型,所以勉强能跑这个千问3.5,但是因为算力不够,你随便问他一个问题,真的是等到天荒地老…时间久到你都怀疑是不是卡了。。。最后还接了云龙虾才正常运行起来。但是如果要接云模型,我就没必要新买macmini了,云模型龙虾对配置要求很低的。基本常用的笔记本电脑都能运行,完全没必要为了龙虾新买电脑,所以这个macmini算是又交了一笔AI学费#openclaw #养龙虾 #ai #大模型 #macmini
00:00 / 02:18
连播
清屏
智能
倍速
点赞676
用M4 Mac Mini组建AI计算集群,效果如何? Alex Ziskind 测试了 5 台 M4 Mac Minis 的集群,以查看它是否比一台机器更快地运行机器学习模型。 他发现,对于较小的模型,集群更快,但对于较大的模型则较慢。 他还发现,集群比带 GPU 的单台机器消耗更少的电量。 总体而言,他得出结论,对于想要运行较小模型并节省电量的人来说,集群是一个不错的选择。但是,对于较大的模型,带 GPU 的单台机器仍然是最佳选择。 📌 内容亮点: 为什么用Mac Mini跑AI模型? Mac Mini的M4芯片支持并行计算,功耗低、价格便宜。 相比传统高性能GPU(如RTX 4090),Apple Silicon架构更适合家庭用户运行本地AI模型。 组建集群的尝试: 使用5台Mac Mini(包括M4和M4 Pro型号)组成分布式计算集群,通过Thunderbolt桥接连接。 使用Apple的ML框架(mlx)优化性能,测试多种AI模型运行速度。 测试结果: 单台M4 Pro运行小型模型(Llama 3.21B参数),生成速度可达每秒100个token。 两台M4基础版直连后,速度提升至95 tokens/秒;但通过Thunderbolt Hub连接时性能下降。 对于更大的模型(如32B参数或70B参数),即使是集群,速度仍较慢,不够实用。 优缺点对比: 优势:Mac Mini的统一内存架构支持更大模型,功耗低(全负载下约200瓦)。 局限:集群设置复杂,网络连接影响性能;与高端GPU相比,整体效率仍有差距。 📢 结论: 如果预算有限且对功耗敏感,小型AI项目可以尝试Mac Mini集群。 对于大规模AI任务,高性能单机(如M4 Max MacBook Pro)可能更高效。 #人工智能 #MacMiniM4 #Mac#AI#Q博肌肤实验室
00:00 / 18:05
连播
清屏
智能
倍速
点赞27
00:00 / 00:38
连播
清屏
智能
倍速
点赞14
00:00 / 00:12
连播
清屏
智能
倍速
点赞176
00:00 / 00:27
连播
清屏
智能
倍速
点赞25
00:00 / 00:06
连播
清屏
智能
倍速
点赞13
00:00 / 00:17
连播
清屏
智能
倍速
点赞43
00:00 / 00:12
连播
清屏
智能
倍速
点赞18
00:00 / 00:08
连播
清屏
智能
倍速
点赞7
00:00 / 00:15
连播
清屏
智能
倍速
点赞35
00:00 / 00:11
连播
清屏
智能
倍速
点赞14
00:00 / 00:08
连播
清屏
智能
倍速
点赞12
00:00 / 00:08
连播
清屏
智能
倍速
点赞17
00:00 / 00:12
连播
清屏
智能
倍速
点赞47
00:00 / 00:22
连播
清屏
智能
倍速
点赞20
00:00 / 00:26
连播
清屏
智能
倍速
点赞22
00:00 / 00:12
连播
清屏
智能
倍速
点赞132
00:00 / 00:13
连播
清屏
智能
倍速
点赞1146