00:00 / 01:36
连播
清屏
智能
倍速
点赞8
00:00 / 05:59
连播
清屏
智能
倍速
点赞23
00:00 / 01:00
连播
清屏
智能
倍速
点赞0
00:00 / 22:05
连播
清屏
智能
倍速
点赞24
00:00 / 00:06
连播
清屏
智能
倍速
点赞11
00:00 / 03:37
连播
清屏
智能
倍速
点赞5014
00:00 / 00:38
连播
清屏
智能
倍速
点赞23
00:00 / 00:44
连播
清屏
智能
倍速
点赞78
Qiuming1周前
RISC之父向AI芯片泼冷水:大模型推理不需要更强的GPU 《RISC之父向AI芯片泼冷水:大模型推理不需要更强的GPU,需要另一种硬件》 2017年图灵奖得主、被誉为"RISC之父"的David Patterson近日与谷歌DeepMind工程师马晓宇联合发表论文,对当前AI芯片产业发出尖锐警告:为训练优化的GPU架构与大型语言模型推理的实际需求严重错配,正引发一场"经济危机"。 论文指出,尽管四大科技巨头2026年AI资本支出预计达6000亿美元,但推理成本正在吞噬企业利润。问题的核心在于LLM推理的两阶段特性:预填充阶段类似训练,适合GPU处理;但解码阶段是自回归的,每一步只生成一个token,本质上是内存带宽受限的任务。这意味着最昂贵的芯片在跑推理时可能只发挥一小部分能力。 雪上加霜的是,混合专家架构(如DeepSeek V3的6710亿参数)、推理模型产生的海量"思考token"、多模态扩展等新趋势,正在加剧内存和通信压力。 Patterson将问题归结为两堵墙:内存墙(2012年至2022年,GPU算力提升80倍,内存带宽仅增17倍)和延迟墙(实时推理需求与HBM成本上涨35%形成矛盾)。他提出四个研究方向:高带宽闪存(容量达HBM十倍)、近内存计算、3D计算-逻辑堆叠和低延迟互联。 这位曾以RISC颠覆芯片设计的科学家还批评学术界与产业界脱节——工业界在顶级会议的论文占比从1976年的40%跌至如今的不足4%。在全球DRAM短缺持续至2027年的背景下,这些替代方案不仅是技术探索,更是产业寻找Plan B的现实需求。 1.https://arxiv.org/pdf/2601.05047 2.https://techcrunch.com/2026/02/28/billion-dollar-infrastructure-deals-ai-boom-data-centers-openai-oracle-nvidia-microsoft-google-meta/?utm_source=chatgpt.com
00:00 / 03:50
连播
清屏
智能
倍速
点赞2