00:00 / 01:45
连播
清屏
智能
倍速
点赞76
李飞飞如何理解人类语言的本质以及对 AI 发展的洞见 李飞飞在 a16z 的访谈中,对人类语言本身,对于 AI 未来的发展谈了自己的想法,非常深刻,富有洞见。 她表示,语言本质上是一种由人类生成的信号,它并不 “存在” 于外部世界。我们进入大自然时,天地万物本身没有用词语为我们 “标注” 一切。语言是一种高度抽象、符号化的表达体系,我们可以用它来复述、转换数据,但本质上,它只是对现实世界的一种 “有损压缩”,是一维的、片面的映射。 相比之下,真实的三维物理世界有自己的结构和规律,是独立于语言存在的。因此要让 AI 真正理解和还原这些结构,乃至生成和表征物理现实,是一种比语言处理更为根本和复杂的问题。虽然大语言模型的一些理念可以借鉴,但 AI 理解物理世界的挑战,在哲学层面上是全然不同的命题。 她的这段话,让我想起丹·西蒙斯于 1989 年出版的科幻巨著《海伯利安》。在第四部《安迪密恩的觉醒》中,丹·西蒙斯通过书中强大的 AI “内核” 的自述,揭示了 AI 进化的一个核心困境。仅仅在数据网(虚拟世界)中进化的 AI,终究是 “寄生” 的,无法突破对物理世界的依赖与隔离。因此,内核意识到,如果 AI 要真正成长、摆脱寄生性,必须回应物理宇宙的进化法则,即不仅要有抽象智能,还要有真实的、与物理世界深度耦合的“身体”,包括传感器、执行器,乃至完整的神经反馈系统。只有这样,AI 才能获得类似生物的主动感知、行动和适应能力,完成从 “虚拟智能” 到 “具身智能” 的飞跃。 不得不说丹·西蒙斯对 AI 的理解极具前瞻性! #李飞飞 #AI与生活 #丹西蒙斯 #海伯利安 #科幻小说
00:00 / 01:11
连播
清屏
智能
倍速
点赞14
🔥緐蟬2周前
🎥 BERT:AI的双向阅读革命 🚀 你是否好奇AI如何才能真正理解人类语言?今天我们来聊聊彻底改变自然语言处理(NLP)规则的BERT模型! 什么是BERT? BERT(来自Transformer的双向编码器表示)是一种全新的语言表示模型。它的核心突破在于设计了一套机制,能够从无标签文本中预训练出深度双向表示。这意味着,与之前许多单向模型(如OpenAI GPT)不同,BERT可以在所有层中联合地基于左侧和右侧上下文进行条件计算。 为什么双向阅读是革命性的? 标准的语言模型通常是单向的(例如,从左到右),这限制了其预训练架构的选择。这种限制对于像问答(QA)这样的任务来说是次优的,因为这些任务必须整合双向上下文信息。BERT通过消除这种单向性限制,释放了预训练表示的潜力。 核心武器:两大预训练任务 BERT使用两种无监督任务来训练其强大的双向理解能力: 1. 掩码语言模型(Masked LM, MLM):它随机屏蔽输入中的一些词,目标是根据周围的上下文来预测被屏蔽的原词汇ID。这个MLM目标能够使表示融合左右上下文,从而预训练出深度双向Transformer。 2. 下一句预测(Next Sentence Prediction, NSP):该任务训练模型理解两个句子之间的关系,这对于问答(QA)和自然语言推理(NLI)等下游任务非常重要。 战绩辉煌:性能碾压SOTA! BERT的概念简单,但经验效果非常强大。它在十一项自然语言处理任务中都获得了新的最先进(SOTA)结果: • 将GLUE基准测试分数推高至 80.5%(绝对提升7.7个百分点)。 • 在MultiNLI任务中,准确率达到 86.7%(绝对提升4.6个百分点)。 • 在SQuAD v1.1问答任务中,Test F1得分达到 93.2(绝对提升1.5个百分点)。 应用便捷,一键微调 预训练好的BERT模型非常灵活,只需添加一个额外的输出层,就可以进行微调(Fine-Tuning),从而为各种任务创建出SOTA模型。整个微调过程相对廉价且快速。 BERT的成功有力地证明了深度双向预训练对于提升语言理解的重要性。赶紧收藏本视频,探索AI语言的未来!#BERT #NLP #深度学习 #大模型 #知识前沿派对
00:00 / 08:42
连播
清屏
智能
倍速
点赞2
00:00 / 03:01
连播
清屏
智能
倍速
点赞12
00:00 / 03:04
连播
清屏
智能
倍速
点赞5
00:00 / 07:18
连播
清屏
智能
倍速
点赞1