00:00 / 00:54
连播
清屏
智能
倍速
点赞238
00:00 / 02:49
连播
清屏
智能
倍速
点赞4732
00:00 / 02:58
连播
清屏
智能
倍速
点赞8174
00:00 / 06:15
连播
清屏
智能
倍速
点赞8137
词向量:17000 个词曾是孤岛,他给语言画了一张地图 2003年蒙特利尔雪夜,本吉奥的猜词游戏,意外解锁了语言AI的全新可能——语义,竟是机器猜词的“副产品”。为打破词语孤岛,他遵循“词的伙伴决定词义”的规律,设计了简单却颠覆性的任务:让神经网络遮住文本中的词,根据上下文猜测填空,猜错就自主调整参数。 他给每个词分配了几十维的随机坐标,这些坐标并非固定,而是随每一次猜词悄悄挪动。机器无需知道“猫是哺乳动物”,只需在一次次猜词中寻找最省力的路径——为了猜对“猫坐在___”和“虎坐在___”的答案都是“沙发”,它会自动把猫和虎的坐标拉到一起。 亿万次猜词后,奇迹出现了:猫狗虎自动挤在一起,飞机汽车轮船聚成一团,爱恨思念归为一类,一张无需人工绘制的词语地图悄然成型。语义从未被刻意教过,却作为猜词任务的副产品,从语料中自己长了出来。这就是NNLM神经网络语言模型的核心。 可这套天才架构,却被两块“石头”困住:中间层任务过重,结尾的softmax运算需重算17000个词的概率,当时的算力根本扛不住——40颗CPU集群要跑三周才能完成实验。论文虽被接收,却无人问津,神经网络在当时仍被视为“占星术”般的存在。 本吉奥明知方向正确,却奈何算力不足,只能默默坚守。这扇被他推开一条缝的门,没能被自己这代人完全打开。直到十年后,硬件算力暴涨千倍,一个叫米科洛夫的年轻人,啃透了他的论文,盯上了那两块“石头”——一场即将颠覆语言AI的变革,正在悄然酝酿。 #词向量#人工智能#大语言模型#左歪歪的技能树#ai新星计划
00:00 / 15:21
连播
清屏
智能
倍速
点赞1478