00:00 / 04:43
连播
清屏
智能
倍速
点赞2
00:00 / 01:42
连播
清屏
智能
倍速
点赞627
00:00 / 00:15
连播
清屏
智能
倍速
点赞157
00:00 / 00:21
连播
清屏
智能
倍速
点赞16
00:00 / 01:00
连播
清屏
智能
倍速
点赞13
00:00 / 00:29
连播
清屏
智能
倍速
点赞0
00:00 / 00:58
连播
清屏
智能
倍速
点赞0
00:00 / 01:34
连播
清屏
智能
倍速
点赞116
00:00 / 00:37
连播
清屏
智能
倍速
点赞0
00:00 / 00:38
连播
清屏
智能
倍速
点赞0
00:00 / 00:58
连播
清屏
智能
倍速
点赞758
第 3 集 :Token送不出去等于白产,光模块多重要? Token产出来送不出去=白产,光模块到底有多关键?✨ 上一期刚聊过芯片是Token工厂的发动机,但发动机再猛,产出的Token送不出去也白费。 Token从GPU芯片“生产”出来后,得先通过芯片间的网络传到外部,再经数据中心网络送到用户手里。这个传输的核心器件,就是光模块。 光模块是什么?你可以把它当成Token工厂的“传送带”。工厂里的产品从生产线下来,得靠传送带送到仓库、物流车。传送带的速度和宽度,决定了产品能多快出厂——光模块的速率和数量,就决定了你的Token能多快从芯片传到用户手里。 行业里有个“光摩尔定律”:光模块的端口速率每1-2年升级一代。从10G到40G、100G、400G、800G,现在1.6T已经进入导入期了,速度每代翻一倍甚至更多。 速率升级意味着啥?同样时间里能传输的Token数量直接翻倍。你的GPU疯狂产Token,但光模块速率跟不上的话,Token就会堵在芯片间、机柜间,产能根本释放不出来。 更关键的是价值量变化——有组直观数据:单张AI加速卡对应的光模块价值量,英伟达B200/B300时代约2100美元,到R200时代直接超4000美元。也就是说,每买一颗AI芯片,搭配的光模块成本也在代际翻倍。 这跟Token工厂的投资有啥关系?📍 1. 光模块是建设成本里的大头,还在快速上升 算芯片采购成本时,别忘了每颗芯片旁边还得配一套光模块。R200时代每颗芯片的光模块配套成本超4000美元——一万颗芯片就是4000万美元,光光模块就这么多。 2. 光模块性能直接影响Token交付质量 如果你的Token工厂主打推理场景(比如Agent在线跑、用户等实时结果),延迟就是命。光模块速率不够,请求在内部网络多排几毫秒队,乘以每天几百万次调用,用户体验差异就出来了。对延迟敏感的客户,可是会用脚投票的。 3. 光模块技术路线在分化 传统可插拔光模块之外,现在有了CPO光电共封装、LPO线性直驱光模块、硅光等新技术,方向都是“更低功耗、更高密度、更可靠”。规划Token工厂网络架构时,选哪条路线,直接影响未来三五年的扩展性和成本。 很多人算Token工厂投资,只盯着芯片和电力的账,其实光模块这部分,也得好好掂量掂量。
00:00 / 03:45
连播
清屏
智能
倍速
点赞18