00:00 / 03:53
连播
清屏
智能
倍速
点赞13
00:00 / 04:05
连播
清屏
智能
倍速
点赞22
Qiuming4天前
“Engram”架构:让AI像查字典一样高效记忆 DeepSeek发布全新“Engram”架构:让AI像查字典一样高效记忆 2026年1月13日,深度求索(DeepSeek)发布题为《基于可扩展查找的条件记忆》的突破性论文,提出名为“Engram”(记忆印迹)的创新架构,旨在从根本上改进大语言模型存储与提取知识的方式。 此项研究直指当前基于Transformer的模型(包括DeepSeek-V2/V3等主流混合专家模型)的核心局限。混合专家模型虽通过“条件计算”优化了计算效率,但缺乏高效的知识查找机制。现有模型需通过多层复杂计算来回忆简单事实,如同每次都不查资料而重新推导公式。 Engram模块通过引入“条件记忆”解决该问题。它受经典N-gram模型启发,作为一个可查询的外部记忆库嵌入Transformer中。其通过快速的基于哈希的查找检索相关知识向量(像查字典一样),并通过门控机制将其与模型动态计算融合,实现了“记忆”与“推理”的分离,释放了宝贵的神经网络算力用于复杂逻辑。 研究关键发现是“稀疏性分配”原则。实验表明,当约20-25%的稀疏参数预算分配给Engram记忆表,其余分配给MoE专家时,模型性能达到最优。 27B参数的Engram-27B模型测试结果显著。它不仅在知识密集型任务上超越标准MoE模型,更在复杂推理、代码生成和数学解题等需要逻辑推演的任务上表现突出。机理分析表明,Engram通过承担底层模式识别,提升了模型的“有效深度”,让深层网络更专注于高级语义理解。 Engram在长文本处理上也展现优势,在“大海捞针”测试中准确率大幅提升,通过处理局部依赖释放了全局注意力机制的容量。其确定性哈希机制还带来了工程红利——可将大规模记忆表存储在廉价的CPU内存中,推理延迟仅增加不到3%,为未来搭载万亿参数级知识库提供了可行路径。 结合近期发布的专家通信优化技术,Engram预示着未来模型架构将向更集成化、类脑化的方向发展,计算与记忆模块协同工作,构建更高效、博学且善推理的智能系统。 https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf
00:00 / 01:22
连播
清屏
智能
倍速
点赞1
DeepSeek Engram 技术突破,解决算力浪费难题 #DeepSeek #Engram 技术突破:大模型架构的效率革命 2026年初,DeepSeek梁文锋团队开源了创新的Engram模块,提出了“查—算分离”机制,标志着大模型发展正式告别“盲目堆参数”的粗放模式,迈入“智能分工”的精细化新阶段。 传统架构的困局:记算不分的低效模式 当前大语言模型存在核心问题:将事实性记忆和逻辑计算混为一谈。传统架构中,无论是全参激活的稠密模型还是混合专家模型(MoE),都强迫神经网络用高成本的矩阵运算处理简单的“查表”任务,导致算力浪费严重。这种“记算不分”的设计还造成长文本对话中关键信息丢失、多轮推理逻辑断链等问题。 Engram的核心创新:专属记忆抽屉解决方案 Engram模块借鉴神经科学的“记忆痕迹”概念,为大模型打造可扩容、快查找的“记忆抽屉”。其核心技术是“现代化的哈希N-Gram嵌入”,通过哈希算法为每个词片段分配唯一地址,实现确定性且O(1)时间复杂度的快速检索。 这种设计让Engram专门负责“找记忆”,MoE专注“做计算”,形成高效协同。Engram模块置于Transformer层最前端,在计算开始前检索相关背景知识,为后续推理提供精准素材。 实证效果:性能显著提升 实验数据显示,Engram-27B模型在多项基准测试中表现优异。在32k长上下文检索任务中,多查询任务准确率从84.2%提升至97.0%,变量追踪任务从77.0%提升至89.0%。研究还发现,当20%-25%的稀疏参数分配给Engram时,模型性能达到最优。 行业影响:架构创新引领新方向 技术社区普遍认为Engram可能成为DeepSeek V4的核心技术。这种设计将高效寻址机制与神经推理结合,为大模型在企业客服、医疗问诊等垂直领域的深度落地扫清了障碍。O(1)的查找机制即使没有GPU也能实现,进一步降低了AI技术落地门槛。 Engram的发布预示着大模型竞争从“参数规模比拼”转向“架构智能度和效率较量”,为整个行业的高效发展拉开了序幕。
00:00 / 09:55
连播
清屏
智能
倍速
点赞6
00:00 / 01:12
连播
清屏
智能
倍速
点赞0
00:00 / 00:11
连播
清屏
智能
倍速
点赞2
00:00 / 00:17
连播
清屏
智能
倍速
点赞18
00:00 / 08:11
连播
清屏
智能
倍速
点赞199