00:00 / 00:40
连播
清屏
智能
倍速
点赞25
00:00 / 00:49
连播
清屏
智能
倍速
点赞216
RNN:给机器人生第一份记忆,为何读30字就失忆? 1990年,加州的黄昏里,认知科学家杰夫·埃尔曼发现了当时AI的致命短板。早期词向量技术能精准识别词语相似度,算出国王与皇后、巴黎与东京的语义关联,却彻底分不清“狗咬人”和“人咬狗”。在机器眼里,两句话词汇完全一致,含义毫无区别。 核心问题在于,彼时的AI只懂空间语义,不懂语言的时间顺序。图片是静态全景信息,而句子是从左到右流淌的序列文字,语序颠倒就能彻底改写语义。为了解决语序难题,埃尔曼开创性地为神经网络装上了“记忆”,由此诞生了RNN循环神经网络。 他设计出一套极简逻辑:把网络比作工人,把文本比作传送带,再给工人配备一本专属小本子。网络逐字读取文本,每读一个词,就结合新词汇更新本子上的上下文信息,依靠持续更新的隐藏状态,读懂语句先后顺序。依靠这套机制,机器终于能区分“我喜欢你”和“你喜欢我”这类语序差异短句,补齐了NLP的时序短板。 可全新的瓶颈很快出现:RNN拥有短期记忆,却丢失了长期记忆。句子一旦变长,早期的关键信息会被后续内容反复覆盖稀释。就像长句开篇提到“出生在法国”,结尾提问擅长的语言,机器只会记住文末的美国、瑞士等信息,错误预判答案。 这就是困住初代循环网络的终极难题——梯度消失。数学机制导致远距离信息不断衰减,短期记忆清晰,长期记忆彻底模糊。给机器装上小本子后,人类终于突破了语序难题,却依旧没能破解长文本遗忘的死结。想要读懂完整长文,人类急需一本不会被随意擦写、能长久留存信息的全新本子。 #RNN #ai #知识科普 #人工智能 #ai新星计划
00:00 / 13:08
连播
清屏
智能
倍速
点赞1452
00:00 / 01:26
连播
清屏
智能
倍速
点赞8
00:00 / 01:29
连播
清屏
智能
倍速
点赞50