粉丝13.9万获赞111.3万
![Karpathy最新访谈(P1):LLM认知缺陷全解析 #Andrej Karpathy #LLM #AGI 本视频为 Andrej Karpathy (特斯拉前AI总监, OpenAI创始成员) 在 Dwarkesh Patel 播客上的最新访谈(2025年10月)的第一部分内容。
【本期主题:LLM的认知缺陷】 Karpathy 详细分析了为什么他认为AGI仍需十年,以及当前大语言模型(LLM)存在的根本性“认知缺陷”。
本期(P1)核心看点:
1. **“特工十年”而非“特工之年”**:Karpathy 认为业界对“AI Agent”的预测过于乐观,要实现真正有能力的Agent,我们还有十年(Decade)的工作要做 [00:01:02]。
2. **“幽灵”而非“动物”**:他提出一个深刻比喻,我们现在不是在创造“动物”(有完整认知能力的生物体),而是在召唤“幽灵”—— 一种模仿人类的、飘渺的数字实体 [00:00:16]。
3. **核心缺陷:工作记忆 vs 模糊回忆**:Karpathy 剖析了LLM的记忆机制。模型的权重(Weights)只是对训练数据的“模糊回忆” [00:18:51];而模型的上下文窗口(Context)才像是“工作记忆” [00:19:05]。
4. **缺失的“蒸馏”能力**:LLM 最大的缺陷之一,是它“缺失”了人类那样将“工作记忆”中的信息提炼、“蒸馏”并固化到“长期记忆”(即权重)中的能力 [00:24:20]。
5. **为何LLM不是好“实习生”**:正因为上述缺陷,Karpathy 直言你无法雇佣LLM当实习生,因为它充满了我们都能直观感受到的“认知缺陷” [00:21:54],它还“缺失了某些大脑部件” [00:21:59]。
本系列将持续更新 Karpathy 这场长达2.5小时的深度访谈,下一期(P2)我们将探讨“RL(强化学习)为何如此糟糕”。 如果觉得内容有价值,请一定“一键三连”,这是我们更新的最大动力!
视频来源:Dwarkesh Patel @ YouTube 原视频标题:Andrej Karpathy — “We’re summoning ghosts, not building animals”
原视频链接:https://www.youtube.com/watch?v=lXUZvyajciY
🙏 感谢您的观看 【智译工](https://p3-pc-sign.douyinpic.com/image-cut-tos-priv/fb1c32e56cb1427104338f3fc5b0b3c4~tplv-dy-resize-origshort-autoq-75:330.jpeg?lk3s=138a59ce&x-expires=2086041600&x-signature=BdeWQwCDOugDf%2FktD1Bu%2BBskjRg%3D&from=327834062&s=PackSourceEnum_AWEME_DETAIL&se=false&sc=cover&biz_tag=pcweb_cover&l=2026021008313987024D2D248A42E8E81B)

哈喽,大家新年好,分享一下我这个 ai 博主在元旦三天做了哪些跟 ai 相关的事吧。我首先呢是听了纪奕超的播客,是 minnes 的 创始人之一, 那张小俊访谈了三个小时,我在路上把他听完了。第二个是看了卡帕斯之前的一些分享,那他的视频其实是非常长的那种内容,但是呢去把技术原理讲的非常的详细。然后第三个呢,昨天晚上看了一下罗胖 在今年演讲中讲到的一些内容,我分享一下我看完这三个东西的一些收获吧。首先是 minnes 的 纪超,他分享他们一路走来如何在做选择,给我最深的印象还是对 agent 这个事情的理解, 因为对于 agent 的 这些表面上的概念,其实大家都已经很熟悉了,但是我觉得去深层次的理解它接下来会给我们的社会带来的影响。 其实 manas 还是独一份儿,我觉得他们确实是在 agent 的 这个方向上做了很多的基建,包括很多的工程的测试,甚至是像 openai, 像 google, 像 meta 等等公司,微软这些企业都有跟他们去合作。其实他们从应用层在反向输出 对 agent 理解的一些认知,给到这些模型层,甚至是像 gemini 三的发布,都有吸收一些 minus 他的建议。所以他们被收购这件事,我觉得是一个自然而然的过程,确实有很多值得学习的地方。这个播课我觉得也非常值得听,因为他 讲述了一个创业者,他是如何一步一步做选择,甚至他描述萧红这个人是一个非常正常的人。我觉得这也非常有意思啊,因为很多创业者都很偏执,但是萧红他表现出来的理性 常识,包括对待团队的时候特别果断的决策,我上一期也讲了,就这些,其实在听这个播课的时候感受会更深,但是给我最大的冲击还是说这些创业者,他站在一线,站在前沿,站在未来的一些 一些原理的角度去思考这些,到底该怎么去面对,怎么做选择,我觉得这些都是非常有意思的一些。输入第二个 capac 的 视频,因为 capac 一 直在做教育,他呢又是 ai 领域的大神,他一直以来是想做 eureka lab, 就 这样的一个 ai 教育的公司,但是一直还没有什么进展。但是呢,他们最新的一个进展是 l m 幺零幺,就是大模型的一个课程,就是跟 ai 相关的一个课程。 然后呢,我就去思考了一下这件事哈,包括我去看他的视频,他的视频应该说非常的全面清楚,讲的非常的清楚,非常容易理解,但是呢一个问题就是非常的长,然后让我就在思考,当下这个时代,大家到底需要的是长的东西还是短的东西?刚好呢,前两天我又看到一个博主, 他介绍了罗振宇、刘润和吴晓波三个人的跨年演讲,十二分钟,然后有一万个赞,然后我就在想,到底为什么这个内容传播这么广?它的质量到底高不高?我就听了一下,其实我听完觉得 其实内容质量跟你去听这三个人的演讲相比没有那么的高,确实是压缩透的信息,而且是普通人,可能不需要花三个小时的时间去听他们几个人把这个跨年演讲讲完, 它的高密度的压缩对于普通人来说还是非常有价值的。就让我反思到,这个 kapi 的 内容虽然长,虽然专业,但是不一定是普通人最需要的, 所以我觉得大家可以风减由人,喜欢短视频的可以去看短视频,喜欢看长视频的可以通过短视频的引导,再去看到这些博主他的深刻的讲解,我觉得会对你的这个认知会有新的补充。第三个,昨天晚上大概十一点多的时候,躺在床上去看了一下罗振宇的新年演讲, 给我的感觉,广告太多了,太多的广告带货哈,让我观感有点不好。但是好的一点呢,就是他一直 保持在思考的状态上,去思考这个时代一些最重要的命题,包括他也发起了一系列的新的活动,比如说未来一千天的样子,比如说今年大年三十,他可能要跟脱布花和快刀青衣一起去做一个围炉的对谈,让我也想到,哎 哎,这个春晚真的是可以不看的,哈哈,大家确实是有一些人会拿出来时间去做一些自己喜欢的事情,其实让我打破了一个思维惯性,春晚其实是可以不看的,让我有新的这样的一个感受吧。罗振宇,他也讲到了很多关于 ai 教育的命题,包括 ai 创造的新的职业的命题, 还有一个最深的印象就是他的乐观,他说其实未来确实悲观的可能性有很多,但是你选择乐观,选择去探索那些最有希望的方向,反而是一些创业者比较容易获得成功的方向。所以我觉得 元旦三天吧,虽然我没有一直看技术的论文,其实大部分时间在陪娃,在打网球,在弹吉他,但是呢,我也还在 尝试去跟踪这些最新的进展,所以还有半天的时间大家,哈哈,如果希望去学习 ai 的 话,如果需要去看这些跨年演讲的话,也不妨去看一看,我觉得还是挺有收获的。祝大家新年快乐,明天就要上班了,祝大家开心,拜拜。


今天跟大家分享一下,按照 karpsy 二五年六月在旧金山 ai 创业学校发表的演讲,如果你在 ai 圈混,那这个人的名字就像神一样的存在。他是 open ai 的 创始人,特斯拉 ai 总监,还是全球公认的 ai 编程最强导师。 这场内部的演讲中, karpsy 抛出了一个让所有程序员几味发凉,又让所有非技术人员热血澎湃的结论。本建正在经历七十年来未有之大变局, 如果你还在纠结要不要学 python, 或者担心 ai 会抢走你的饭碗,那 karpai 就 会告诉你,编程的红利正在消失,而创造力的红利期才刚刚开始。很多人以为 ai 只是写代码的助手,但在 karpai 眼里, 软件的底层逻辑已经发生了两次特别大的地震。软件的一点零阶段是手动编程,这是我们熟悉的世界,程序员一号一号写代码给计算机下命令。软件二点零阶段就是神经网络的阶段, 这个阶段他在特斯拉时深有体会, autopilot 里面很多的代码都在被神经元权限大量替换。你不用写代码告诉车看到红绿灯要停下,而是为给他海量的数据,让他自己悟出这个规律。代码不是写出来的,而是训出来的。 软件三点零阶段就是提示词编程,现在大语言模型已经让编程进入了自然语言时代,你的 prompt 就是 程序, 而英语就是编程语言。以前学五到十年才能入门,现在只要会说话,你就是开发者。讲完了趋势,克帕塞给所有基于搞 ai agent 的 人泼了一盆冷水,他认为现在的 ai 还没有到独挡一面的时候,他在二零一三年做维某就实现了三十分钟灵感语。可是现在十二年过去了, 全自动驾驶依然没有彻底解决,软件 agent 也是一样,二零二五年不是 agent 元年,这是一个长达十年的拉锯战。 我们现在的目标不应该是造一个完全替代人的机器人,而是应该造一个钢铁侠战衣。 kasper 还提出了最近火遍全网的黑话 web coding, 就是 你根本不需要精通任何编程语言,你只要跟恩爱说我要做一个什么什么感觉的什么什么东西,然后不断迭代就可以了。 他自己就用这套逻辑搞出了一个 ios 的 app 和一个网站。他承认自己不会写 swift, 但是靠对其感觉,一天之内就让 app 在 手机里面跑起来了, 发现代码部分已经被 i 全包了。最痛苦的反而是那些什么申请域名啊,配置支付接口啊,搞定谷歌登录这些琐事。这是一个最坏的时代,因为传统的代码搬砖正在变得一文不值。这也是一个最好的时代,因为只要我们的脑子够清楚,全世界的算力都是我们的员工。去吧,去当那个穿上钢铁侠战衣的人。

嗯,最近刷到一条 post, 我 认为蛮有意思的,自己用完之后感觉也是有非常强的实践的指导效果,拿出来跟大家分享一下。这个 post 来自于之前 openai 的 科学家创始人成员之一 andrew carposy, 他 说不要把语言模型想成一个有观点的人,而是你要把它作为一个模拟器。 具体是什么意思呢?就举个例子,比如说当你去问你对某个事件的看法的时候,你可以不要用你是怎么去思考类似于这类型的这种问题去问大模型你的想法,而是去问这件事情,比如说 ask 会怎么想,因为如果你去问你是怎么想的, 有可能他会给到你一个背后的一个平均的观点,而不是对你目前状态下可能最具实操意义,或者你认为可能是最有价值的观点。其实这里面就涉及到从实操角度我们怎么去提问。 嗯,干枯来讲的话,就像我刚才说的,就是不要把它模型视作是有主观想法的,而实际上你只要把它当做精准的模拟器即可。当然这个模型的话,最好是包含最新的一些数据,包括它是一个 context rich 的 一个模型 啊。那提问方式其实也决定了 ai 输出的质量。那传统比如说如果我们不采用类似于像是模拟器方式的提问,而是更多加了很多的设定的规则,或者说是输出条数的这些限制的话,其实一定程度上面其实只能获得在这个框架下里面的一个平均结, 获得一个最优解,或者说是当下对你最有指导意义的这个解法。另外的话就是这种最强大脑的提问还是能够激发 ai 的 整体的一个模拟能,坦白讲我认为它可以充当大半个专家库,这样的概念你可以理解为它是拥有着世界上所有非常顶尖大脑的 思维逻辑或者思考方式,以及他们所有的历史信息。所以让他去模拟整体的思考过程里,我认为会获得更优质以及突破常规的答案,甚至这可能不是一种答案。我认为整体的一个思考逻辑以及方式的话, 对我们平时去实操的指导的效果,甚至比给出一个具体的答案,或者说是一个详细的答案,其实是更有长远的影响。 那其实这提问方式最好的一点是在于你不需要依赖于很多的各行业的平均观点,而是说你知道在这个领域里面做的最顶尖最好,以及你最认同的所谓的行业的领军者。 你可以通过比如说去模仿他,然后跟他进行一些讨论,能得出一些可能你更容易去认同的一些观点。 在这里面其实举两个例子吧,比如说在内容创作的有些短视频的脚本设计,那这里面其实你可以去举你自己最喜欢导演的类型,他们一般会怎么样去设计整个主题的脚本,然后帮你去模拟他可能会怎么样去编辑,然后以及不同的拍摄手法。针对于产品设计呢? 比如怎么去做产品定义,怎么去优化 uix 啊?那你可以去模仿乔布斯,或者任意你认为非常优秀的或者世界顶尖的这种产品经理的逻辑, 虽然不可能一定百分之百还原它们整体的一个思考路径,但我认为这其实是一个不错的方法,和你的 chatbot 进行交互。