超越语言：人工智能如何学习看懂真实世界 #这份研究报告探讨了超越传统语言建模的原生多模态预训练模型设计 作者通过Transfusion框架，将文本的下一标记预测与视觉的扩散机制相结合，实现从零开始的统一预训练。研究提出了表示自动编码器（RAE）作为最优视觉表示，并证实视觉与语言数据在训练中具有显著的协同效应。通过引入混合专家模型（MoE），该研究成功解决了视觉数据比语言更具数据饥渴感的非对称缩放难题。此外，实验表明世界模型能力能从通用的多模态预训练中自然涌现，而无需完全依赖特定领域的任务数据。最终，这项工作为构建能够理解真实物理规律且高效扩展的统一多模态基础模型奠定了理论与实践基础。 arXiv: 2603.03276#AI #Research #Arxiv #MachineLearning
13
抢首评
5
2
举报
发布时间：2026-03-05 08:48全部评论
大家都在搜：
