00:00 / 12:28
连播
清屏
智能
倍速
点赞3554
00:00 / 12:01
连播
清屏
智能
倍速
点赞1193
00:00 / 01:32
连播
清屏
智能
倍速
点赞629
Qiuming2周前
不用一个字,MIT团队用“生命游戏”教会AI推理 不用一个字,MIT团队用“生命游戏”教会AI推理 1970年,数学家康威发明了“生命游戏”:规则极其简单,却能演化出极其复杂的结构。没人想过这东西能教AI说话。直到现在。 今年3月,MIT团队发表了一项出人意料的研究:用类似“生命游戏”的细胞自动机生成的数据——不包含任何文字,只有像素的演化轨迹——去预训练大语言模型。结果发现,在这些纯粹“动态图案”上训练过的模型,后续学习语言时表现更好,收敛速度也更快。更令人惊讶的是,仅用1.64亿个自动机token,效果竟超过了用16亿个真实英语文本。 核心思路很简单:语言模型真正需要学习的,可能不是语言本身,而是语言背后的计算结构。 研究者每次随机生成一套全新的自动机规则,让模型在完全陌生的序列上预测下一步。要预测成功,模型必须在上下文中推断出隐藏规则——这和语言模型在真实文本上做的事,本质上是相通的。 这套方法被称为“预预训练”:先用合成数据训练,再用自然语言训练,最后微调。在网页文本、数学和代码三个领域,均观察到稳定提升。在数学、代码和综合推理测试中,模型表现也均有提升。 那么,到底学到了什么?拆解实验发现,注意力层承载了最多可迁移的结构——它学会了通用的依赖追踪和上下文推断。另一个发现是:合成数据需要与目标领域相匹配,不是越多越好,而是可以精确调控的。 目前,这项实验的规模还比较小。但研究者的愿景是:未来完全用干净的合成数据做预训练,只在最后阶段用少量自然语言获取语义。如果这条路走得通,AI的学习方式或许将被重新定义。 https://arxiv.org/pdf/2603.10055
00:00 / 02:23
连播
清屏
智能
倍速
点赞2
00:00 / 03:01
连播
清屏
智能
倍速
点赞594
00:00 / 02:21
连播
清屏
智能
倍速
点赞NaN
麻省理工学院简称 MIT,是一所世界顶尖的私立研究型大学,位于美国马萨诸塞州的剑桥市。成立于1861年,MIT 致力于推动科学、工程、技术及其他学科领域的研究和创新。其教育和研究涵盖多个学科,包括物理、计算机科学、人工智能、电子工程、生物医学等。 MIT 以高度的学术严谨性和强大的工程学科闻名,培养了无数诺贝尔奖得主、企业家和技术革新者。校园内有五个学院:工程学院、科学学院、建筑与规划学院、管理学院、人文与社会科学学院。其课程注重动手实践,强调跨学科合作和解决全球重大挑战。 麻省理工学院(MIT)的毕业生创业在全球范围内产生了巨大影响。据估计,MIT毕业生创办的公司总数超过30,000家,遍布全球各地。这些公司在多个领域中创造了大量的就业机会和经济价值。 MIT毕业生创办的公司总共雇佣了大约 460百万人。这些公司涵盖了科技、工程、制造、生物技术、金融服务和能源等行业。 这些公司每年的总营收估计超过 **1.9万亿美元。如果把所有MIT毕业生创办的公司视为一个国家,它的GDP将位列世界前十强,足以与一些大型经济体相媲美。 这些公司不仅限于美国,还扩展到全球许多国家,尤其是在创新密集型产业,极大推动了全球的科技进步和经济增长。 麻省理工学院(MIT)旁边是查尔斯河。这条河将波士顿市区和剑桥市分隔开,MIT校园就位于剑桥市沿着查尔斯河的河岸。 麻省理工学院(MIT)占地面积约为168英亩(约0.68平方公里)。校园位于马萨诸塞州剑桥市的查尔斯河河畔,与波士顿市区隔河相望。MIT的校园融合了现代建筑、绿色开放空间和历史建筑,形成了一个充满创新氛围的学术环境。 跨过查尔斯河就是波士顿市中心,那里有大量的文化、历史和科技资源,方便学生接触广泛的就业和实习机会。 MIT所在的剑桥市是一个大学城,不仅有MIT,还邻近哈佛大学,周边有许多书店、咖啡馆和餐馆,学术氛围浓厚。 紧邻MIT的肯德尔广场是科技和创业的中心,这里聚集了许多知名的科技公司、初创企业和研究机构,是全球创新的热点区域。 MIT的地理位置优越,既享有安静的学术环境,又能便捷地与波士顿大都会区的资源相连。#麻省理工学院 #剑桥市 #波士顿
00:00 / 01:42
连播
清屏
智能
倍速
点赞58
00:00 / 02:39
连播
清屏
智能
倍速
点赞432