00:00 / 10:17
连播
清屏
智能
倍速
点赞1738
DeepSeek Engram 技术突破,解决算力浪费难题 #DeepSeek #Engram 技术突破:大模型架构的效率革命 2026年初,DeepSeek梁文锋团队开源了创新的Engram模块,提出了“查—算分离”机制,标志着大模型发展正式告别“盲目堆参数”的粗放模式,迈入“智能分工”的精细化新阶段。 传统架构的困局:记算不分的低效模式 当前大语言模型存在核心问题:将事实性记忆和逻辑计算混为一谈。传统架构中,无论是全参激活的稠密模型还是混合专家模型(MoE),都强迫神经网络用高成本的矩阵运算处理简单的“查表”任务,导致算力浪费严重。这种“记算不分”的设计还造成长文本对话中关键信息丢失、多轮推理逻辑断链等问题。 Engram的核心创新:专属记忆抽屉解决方案 Engram模块借鉴神经科学的“记忆痕迹”概念,为大模型打造可扩容、快查找的“记忆抽屉”。其核心技术是“现代化的哈希N-Gram嵌入”,通过哈希算法为每个词片段分配唯一地址,实现确定性且O(1)时间复杂度的快速检索。 这种设计让Engram专门负责“找记忆”,MoE专注“做计算”,形成高效协同。Engram模块置于Transformer层最前端,在计算开始前检索相关背景知识,为后续推理提供精准素材。 实证效果:性能显著提升 实验数据显示,Engram-27B模型在多项基准测试中表现优异。在32k长上下文检索任务中,多查询任务准确率从84.2%提升至97.0%,变量追踪任务从77.0%提升至89.0%。研究还发现,当20%-25%的稀疏参数分配给Engram时,模型性能达到最优。 行业影响:架构创新引领新方向 技术社区普遍认为Engram可能成为DeepSeek V4的核心技术。这种设计将高效寻址机制与神经推理结合,为大模型在企业客服、医疗问诊等垂直领域的深度落地扫清了障碍。O(1)的查找机制即使没有GPU也能实现,进一步降低了AI技术落地门槛。 Engram的发布预示着大模型竞争从“参数规模比拼”转向“架构智能度和效率较量”,为整个行业的高效发展拉开了序幕。
00:00 / 09:55
连播
清屏
智能
倍速
点赞6
00:00 / 04:19
连播
清屏
智能
倍速
点赞180
Qiuming4天前
“Engram”架构:让AI像查字典一样高效记忆 DeepSeek发布全新“Engram”架构:让AI像查字典一样高效记忆 2026年1月13日,深度求索(DeepSeek)发布题为《基于可扩展查找的条件记忆》的突破性论文,提出名为“Engram”(记忆印迹)的创新架构,旨在从根本上改进大语言模型存储与提取知识的方式。 此项研究直指当前基于Transformer的模型(包括DeepSeek-V2/V3等主流混合专家模型)的核心局限。混合专家模型虽通过“条件计算”优化了计算效率,但缺乏高效的知识查找机制。现有模型需通过多层复杂计算来回忆简单事实,如同每次都不查资料而重新推导公式。 Engram模块通过引入“条件记忆”解决该问题。它受经典N-gram模型启发,作为一个可查询的外部记忆库嵌入Transformer中。其通过快速的基于哈希的查找检索相关知识向量(像查字典一样),并通过门控机制将其与模型动态计算融合,实现了“记忆”与“推理”的分离,释放了宝贵的神经网络算力用于复杂逻辑。 研究关键发现是“稀疏性分配”原则。实验表明,当约20-25%的稀疏参数预算分配给Engram记忆表,其余分配给MoE专家时,模型性能达到最优。 27B参数的Engram-27B模型测试结果显著。它不仅在知识密集型任务上超越标准MoE模型,更在复杂推理、代码生成和数学解题等需要逻辑推演的任务上表现突出。机理分析表明,Engram通过承担底层模式识别,提升了模型的“有效深度”,让深层网络更专注于高级语义理解。 Engram在长文本处理上也展现优势,在“大海捞针”测试中准确率大幅提升,通过处理局部依赖释放了全局注意力机制的容量。其确定性哈希机制还带来了工程红利——可将大规模记忆表存储在廉价的CPU内存中,推理延迟仅增加不到3%,为未来搭载万亿参数级知识库提供了可行路径。 结合近期发布的专家通信优化技术,Engram预示着未来模型架构将向更集成化、类脑化的方向发展,计算与记忆模块协同工作,构建更高效、博学且善推理的智能系统。 https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf
00:00 / 01:22
连播
清屏
智能
倍速
点赞1
00:00 / 01:11
连播
清屏
智能
倍速
点赞16
00:00 / 01:35
连播
清屏
智能
倍速
点赞0
00:00 / 01:09
连播
清屏
智能
倍速
点赞13
00:00 / 04:26
连播
清屏
智能
倍速
点赞295
苏姿丰|AMD的未来AI战略 CES 2026 上,AMD 董事长兼 CEO 苏姿丰(Lisa Su)发表了极具前瞻性的主题演讲。她不仅展示了 AMD 全栈的 AI 产品布局,更对 AI 未来的发展趋势给出了非常明确的判断: 1. 🚀 核心判断:AI 将从“云端”走向“全场景” 苏姿丰认为,AI 的普及速度远超互联网,活跃用户已从 100 万激增至 10 亿。她大胆预测,到 2030 年,全球 AI 用户将突破 50 亿。 为了支撑这一庞大的用户基数,她提出了一个惊人的算力目标:未来五年内,全球计算能力需要提升 100 倍,达到 10 YottaFLOPS(10 的 25 次方)的级别,才能实现“AI 人人可用”。 2. 🏗️ 战略布局:从云到端的“全栈 AI” 为了实现这一目标,苏姿丰强调 AMD 的战略是覆盖 AI 计算的每一个环节,即 “从云到端”。 云端(算力基石): 发布了下一代数据中心级产品,包括采用 2nm/3nm 工艺的 MI455X GPU 和 EPYC “Venice” CPU。她展示了全球最大的 AI 机架 Helios,单机架算力高达 2.9 ExaFLOPS,旨在通过大规模集群满足大模型训练的“无限算力”需求。 端侧(AI PC 革命): 强调 AI 必须下沉到个人设备。她正式发布了 锐龙 AI 400 系列处理器(Ryzen AI 400),强调其不仅有强大的 NPU(神经网络处理单元),还能在本地运行 200 亿参数的大模型,让 PC 具备真正的“离线 AI”能力。 3. 🌍 视野拓展:AI 将重塑物理世界 苏姿丰特别强调了 “物理 AI”(Physical AI)的概念,即 AI 不仅在数字世界聊天,更要进入现实世界解决问题。 太空探索: 宣布 AMD 芯片将用于 蓝色起源(Blue Origin) 的 Mark II 月球着陆器,助力 2028 年载人登月。 医疗健康: 与阿斯利康、Illumina 等巨头对话,探讨如何用 AI 加速药物研发(如“治愈秃头”、治疗子宫内膜异位症),目标是将药物开发像造 iPhone 一样精密工程化。 空间智能: 展示了与 AI 教母 李飞飞(Fei-Fei Li)团队 #芝叔聊设计 #AMD #AI未来 #苏姿丰 #黄仁勋
00:00 / 04:39
连播
清屏
智能
倍速
点赞39
00:00 / 05:39
连播
清屏
智能
倍速
点赞3