00:00 / 01:01
连播
清屏
智能
倍速
点赞1124
三款搭载不同架构芯片的设备在本地运行大语言模型时性能对比 老外做的测评,真的是壕啊,两天dgx都只能跑32b q4量化版,看来距离民用本地大模型还有好长一条路要走啊 1. Apple Mac Mini (M4 Pro) 核心特性:搭载苹果 M4 Pro 芯片。 表现:在测试中,它的提示词预填充速度(PP)表现中规中矩(563),Token 生成速度(解码)为 55 t/s。 定位:目前市面上非常热门的、具有高性价比的统一内存架构(Unified Memory)设备。 2. Framework Desktop (AMD Strix Halo) 核心特性:搭载了 AMD 尚未(或刚刚)推出的 Ryzen AI Max (Strix Halo) 顶级 APU。 表现:这款芯片的特点是拥有极强的 GPU 核显性能和高内存带宽。在视频中,它的 Token 生成速度(73 t/s)超过了 Mac Mini,但提示词预填充(PP)性能却意外地较低(342)。 定位:作为 Windows/Linux 阵营对抗苹果统一内存架构的强力竞争者。 3. NVIDIA DGX Spark 核心特性:这是 NVIDIA 推出的一款紧凑型“桌面级 AI 超级计算机”,搭载了 GB10 Grace Blackwell 超级芯片。 性能:它拥有 128GB 的统一内存。在测试中,它的预填充速度(PP)高达 2107,远远碾压前两者(是它们的 4-6 倍)。 定位:专业级 AI 开发设备。视频作者强调,虽然在普通聊天时感知不强,但在处理复杂、长文本的“提示词预填充”阶段,DGX Spark 的计算能力才真正显现出来。 #llamacpp #dgxspark #strixhalo #m4pro #qwen
00:00 / 01:16
连播
清屏
智能
倍速
点赞79
00:00 / 01:31
连播
清屏
智能
倍速
点赞4
00:00 / 01:29
连播
清屏
智能
倍速
点赞68
00:00 / 41:55
连播
清屏
智能
倍速
点赞196