北京时间十月四日晚,谷歌在此发布会上,全新基建 pixel 八系列正式亮相,其中最引人瞩目的当属其搭载的 gm soc 参摄聚餐。这款芯片凝聚了谷歌在硬件底层核心技术的最新成果, 充分展示了其在手机芯片领域的雄心壮志。参设巨山是基于三星 xenos 两千三百进行改造,但与前一代参设巨鳄相比, 喷射聚三在设计理念和主人成分上有着显著的变化。首先,喷射聚三的 cpu 采用了一家四加四的三种级架构设计,由一个 cotex x 粘胶大盒、 四个 cotex a 七一五大和和四个 cotex a 五百一十组成。这一架构的采用使得 tensor g 三在处理多 任务和复杂计算时更为高效。其外, tenso g 三的 g p u 则采用了 moly g 七幺五 immortalis, 这款 g p u 支持光线追踪功能,将为用户带来更加逼真的虚拟现实体验。更令人振奋的是, 谷歌在天社巨山上设计和塞入了大量寄言处理器,包括一直以来的 tpu 张亮计算单元、 该数据信号处理器和 big ocean 视频解码器等。这些智研处理器的加入,值得 tense 聚商在处理特定任模式,比如人工技能和视频解码等,能够发挥出更高的性能和效率。 喷射巨山的出现标记着谷歌在手机芯片领域的既定路线图,正在逐步实现。按照最新报道,谷歌已经计划到二零二五年推出完全记住 主设计的 tensor 芯片,并将金元代工厂从三星换成台机电。这一战略决策充分显示出谷歌在手机芯片领域的远见卓识,同时也揭示了其未来发展的方向。然而, 手机芯片领域的竞争并非只有骨骼一家,在全球主要手机厂商中,包括 oppo、 vivo、 小米等都有类似的计划。 在这个被形容为不可谓不激烈的市场环境中,从手机厂商到消费者都期待着更多创新和突破。而从长远来看,构建自家手机的核心差异化体验的关键竟是从硬件底层核心的芯片入手。尽管这是一件极具挑战性的事情, 但手机厂商们都在努力寻求解决方案。在这个过程中,不懂手机厂商的吸入和做法,都有 着各区的特点。以谷歌、 oppo、 vivo、 小米世家来看,他们的肇庆路线就有着明显的差异。 oppo 的肇庆路线被形容为大胆和激进。 继二零一九年底开始,欧布创始人兼 ceo 陈明永高调宣布将投入五百亿元人民币用于底层技术界。去年, obo 成立了一家独立的芯片公司绝顾科技斋库,并投入重金挖人研发和生产。然而, 就在人们期待 oppo 智研芯片的开花结果是今年五月份, oppo 宣布停旗下芯片设计公司折顾科技摘库所有业务。尽管 oppo 对此并未详细提示, 那不难看出,这其中必然涉及到一些核心问题。相对于 oppo 的直接宣告失败,其他手机厂商的赵新 路线则更加稳健和谨慎。 vivo 和小米都有自己的芯片研发团队和实验室,并且已经推出了多款智研芯片。这些手机厂商的智研芯片主要集中在图像处理、电源管理、 ai 等领域, 并且多数采用台机电代工。而在这些手机厂商中,谷歌的照清路线似乎更加神秘和低调。与 oppo 的独立照清路线不同,谷歌选择了一条更加稳健的道路,从探测聚一到探测聚散,我们可以看到,谷歌的机缘芯变逐渐增多, 而三星 x 六十的成分则逐渐减少。这一变化趋势表明谷歌正在逐步实现及硬件自主化的战略目标。总的来说,无论是哪种造型路线,手机厂家们都希望通过自主研发来获取更多的 竞争优势和利润空间。在这个过程中,他们需要克服技术、基金、市长等多方面的困难和挑战。然而,只有真正掌握核心技术并不断创新的企业才能在竞争中脱颖而出。对于手机厂家们来说,要想在这场竞争中获胜, 就必须紧跟时代步伐,不断进行技术创新和积累经验,只有这样,他们才能在意义激烈的市场竞争中立于不败之地。
粉丝453获赞7929

华为的奇力九千 s 可能没有谷歌自研的天锁 g 三芯片强,这是谷歌刚刚发布的今年旗舰 peco 八 pro, 这是一个四纳米的芯片,华为麒麟九线 s 是一个七纳米的芯片,但是谷歌这款四纳米的芯片是基于三星制造工业,所以我很担心它的发热控制。它如果能达到骁龙八加的水平,那 已经很不错了,基本上和 nothingford 第二代手机就差不多了,但是它的售价基本上和苹果持平,八 pro 售价是约七千六百元人民币,和 iphone 十五 pro 差不多。大家觉得怎么样呢?

今年骁龙的日子可能没那么好过,新旗舰处理器将在十月二十五号发布,但今天聊的不是骁龙八真三,而是在安卓手机处理器上三个八真三的挑战者,后两个实力不足,看看他们能否威胁骁龙的霸主地位。第一个挑战者是探索这三。实话实说,谷歌的探索这三战斗力没有那么强, 挑战八真三油电勉为其难,但是它弱, cpu 强。 npu 的设计方向也许代表未来处理器的一种发展选择,虽然它是刚刚发布不久的一款处理器, 然而它用的是去年的 t s c 二二二架构,也就是和天机九二零零类似,整体采用九核心设计,集成一个 cotex 叉三超大核、四个 a 七幺五大核以及四个 a 五幺零小核。 gpu 方面则是采用了公版的 mtilis g 七幺五 m c 十核心,和天机九二零零相比,只是多了一个 a 七幺五大核。比较有特色的 是,他的 npu 部分藏了谷歌自然的第三代 tpu, 借助探测这三项折合新一代的 tpu, 其可以快速的运行一些训练好的 ai 模型,利用自带的照片编辑器,可以随意调整照片的亮度、背景表情,改变人物的位置等等。 它的探特 g 三的谷歌 picture 八 pro 已经发布,其性能表现和上一代骁龙八加类似,虽然对于日常来说它是可用的,但是 picture 八 pro 售价一千零五十九美元基本上就确定了。探特 g 三无非还是谷歌的试验田而已, 根本对骁龙够不成太大的压力。第二个选手是猎户座二四零零。猎户座二三零零去年流产,没有能出现在三星 s 二三机型上,但是猎户座二四零零这回确定重新杀回来了,并且前期曝光的性能表现还不错,各方面性能和八分三非常相信。架构方面,猎户 做二四零零采用了一加二加三加四的十核心设计,集成一个 cotex 叉四超大核,五个 a 七二零大核分为二加三两个促调度,另外还有四个 a 五二零小核。在比较关键的 cpu 超大核大核心的规模上完全和八真三看齐。 目前曝光测试成绩看,单核两千分左右,多核六千五百分左右,和八真三前期的成绩对比稍低,但是属于同一个梯队。 gpu 方面,二四零采用的是和 amd 合作的 rdna, 三核心的 x 九四零 拥有六个单元架构,每个单元有十二个 ceo, 相当于七百六十八个 sp, 并且支持光线追踪。而上一代的 x lip 九二零只有三个单元, 规模直接翻倍。在 s 二四工程机测试中,猎户座二四零零和八分三的沃肯得分对比竟然反超,令人意外在百分之十左右。总体来说,猎户座二四 四零零和八真三的性能比较接近,三星 s 二四系列机型也基本确定会同时发布猎户座和骁龙两个版本。第三位是最值得期待的天机九三零零用怪兽来形容九三零零最为合适。 八核架构,并且全部都是大核,四个 cottex 叉四超大核和四个 a 七二零大核,没有配备低功耗的 a 五二零小核, 这和传统的阿姆移动处理器大中小盒组合截然不同,天机这次用低频的大盒替代小盒,目前信息显示,天机九三零零八核心分为一加三、加四三个速调动。当然 cotex 超大盒频率不会全部拉满,因为那样虽然性能起飞,但功耗也会爆炸。 一个 cottex 超大核跑到三点二五 g 的峰值频率,另外三个 cottex 超大核频率二点八五 g, 四个 h 二零核心因为要兼顾低功耗的工作,所以 频率定在了更低的二点零 g。 前几代产品,天机和骁龙采用同样规格核心的情况下,性能上一直被骁龙压制,但九三零零大胆的规格设计,让我们再用惯性思维去预期天机金眼的表现就完全不成立了。 九三零零的七个低频超大核和大核能不能打过骁龙八真三的五个高频大核和两个小核,悬念已经拉满。夜里消息曝光,天机九三零零工程机 cpu 性能比八真三工程机高百分之十, 但关键的公耗数据还没有,所以暂时谨慎乐观。另外在 gpu 方面,天机九三零零配备是 mtellis g 七二零 m c 幺二核心, 往年骁龙 ajino 系列 gpu 优势一直很明显,这一代天机九三零零如果能打平就算是胜利了。你认为天机九三零零能压制骁龙八十三吗?我反正觉着这对天机来说是一个非常不错的 机会。九三零零预计将在十一月发布,首发机型为 vivo x 一百系列,让我们拭目以待吧。随着十月、十一月骁龙八零三和九三零零的发布,将一大批新机登场, 如果你预算比较充足,年底之前想购机的话,一定要多多关注。好了,今天就聊到这吧,最后别忘了点赞关注黑客,谢谢大家!

谷歌刚刚在 i o 大 会上直接扔下了一颗核弹,我们来看一组足以让整个行业窒息的恐怖数据。两年前,谷歌所有服务每个月的掏根处理量是九点七万亿,去年这个数字是四百八十万亿, 而现在,这个数字突破了三千两百万亿,两年暴涨了三百多倍。与此同时, jimmy 独立 app 的 月活在短短一年内翻倍直接冲到了九个亿,这标志着 ai 再也不是什么小众产品, 大厂的主流话收割正在我们眼前发生。紧接着,谷歌发布了全新的 jimmy 的 三点五系列,最让人震惊的是打头阵的 jimmy 的 三点五 plus, 他 直接撕掉了低配廉价的标签,直接在同行面前掀桌子 来看硬核跑分。在编码精准测试中,他直接把自家的三点一 pro 掀翻在地上。在多项推理和代码测试中, 他已经开始贴身肉搏,甚至反超了 openai 尚未发布的 gpt 五点五以及 cologne 四点七 ops 最绝的是什么?它的速度是那些顶级 ai 的 四倍,它的输出速度接近每秒两百八十个逃分,而对手只有六七十个,用着行业第一梯队的智商, 却享受着轻量模型才有的极速披。宅哥在现场算了一笔账,如果一家顶级企业每天出力一万亿淘粉,只要把百分之八十的工作迁移到三点五 plus 上,每年能直接省下超过十亿美元,这直接把 ai 的 性价比卷到了极致。 但真正的重头戏是谷歌首次批落的全新产品线 jimmy, 谷歌称它为真正的世界模型。 哈萨比斯更是直言,这是人类迈向通用人工智能的关键一步,它跟以前的 ai 视频完全不是一个维度,以前的工具只是在视觉上缝合像素,而 jimmy 欧米尼在底层把文本、音频、图像、视频四种模态同时进行原声训练的。 也就是说,它不仅懂画面,它连物理学和声音规律都懂,弹珠下落符合地心引力,树叶扫过树形,声音和震动完美同步。 甚至他的视频编码能力极其野蛮,你可以直接传一段你拍的视频,通过聊天让他往背景里加一座活火山,甚至精准修改里面某个人的衣服颜色,画面和角色绝对不会闪烁和穿帮。有同学要问了,如果别人拿 ai 骗我怎么办?这不用担心, 谷歌这次联手了 openai、 伊莱文 lab 和英伟达,将谷歌的隐形水印,也就是一种 id 推成了全行业的通用标准。也就是说,未来所有的 ai 视频和音频都有据可查。 目前 jimmy 的 omni 已经开始向付费会员陆续推送,而且本周晚些时候还会直接免费内置到 youtube 的 短视频里。整个 ai 行业已经从陪你聊天彻底转向了二十四小时在后台帮你干活、帮你拍大片的智能体时代, 留给传统剪辑师和特效师的时间真的是越来越少了。你觉得这次谷歌能靠三点五 plus 和 omni 成功先翻 openai 吗?欢迎在评论区聊聊你的看法。关注我,我是喜子,我们下期再见!

谷歌这次对 mario 的 动作,市场可能低估了 mario 正式纰漏,公司已经和谷歌签署定制芯片商业合作协议。更重要的是,谷 歌还拿到了一份 mario 的 巨额认股权证,最高可以购买五千八百九十七万股 mario 股票,行权价格二百零六点五八美元,对应潜在价值大约一百二十二亿美元。 消息公布后, mario 股价一度大涨超过百分之十三,当天最终收涨接近百分之十。为什么这件事值得关注?因为谷歌这次合作的并不是一颗简单的 ai 芯片,双方合作覆盖了整个 tpu 生态的多个关键环节,包括 ai 推理加速器、存储控制器、网络接口控制器、内存接口控制器以及近内存计算芯片。 也就是说, mario 正式进入了谷歌 ai 数据中心的核心供应链。过去谷歌自研 tpu 的 重要合作伙伴是博通,现 在 mario 进入谷歌供应体系,意味着谷歌正在增加新的定制芯片合作伙伴。短期来看,这不代表 mario 的 取代拨通,更大的可能是,随着谷歌 tpu 规模不断扩大, ai 数据中心需要更多定制芯片、网络芯片和高速互联产品。谷歌正在扩大整个 ai 基础设施的供应体系,这也是这笔交易最值得关注的地方。 因为现在 ai 竞争已经不只是 gpu 或者 tpu 的 竞争,算力芯片越来越多,数据如何在芯片之间高速传输开始成为新的瓶颈。所以我们看到,谷歌这次和 mark 合作,除了 ai 推理芯片,还包括网络接口、内存接口和近内存计算,背后指向的其实是谷歌 ai 数据中心架构的全面升级。 而在网络端,还有一个方向值得关注,那就是 o c s, 也就是光路交换。随着 t p u 和 ai 服务器群体越来越大,传统电交换网络的功耗和宽带压力持续增加, o c s 通过光路直接建立连接,可以动态调整不同计算节点之间的网络路径。谷歌本身就是全球 o c s 和数据中心光互联的重要推动者之一, 所以这次谷歌绑定 marvel, 一 边扩大定制芯片供应链,一边持续升级 ai 数据中心网络,国内产业链也值得跟踪。 ocs 和光交换方向可以关注光库科技,高速光机电方向可以关注天孚通信、光讯科技,高速光模块方向中继续创 新。意二仍然是海外 ai 数据中心扩容的重要观察对象。而随着未来网络速度继续向一点六 t 甚至更高速率升级,硅光、 cpo、 npo 以及 ocs 都会进入新的产业周期。所以谷歌入股 marvel, 表面上看是一笔一百二十二亿美元的股权绑定。但真正值得关注的是,谷歌正在提前锁定未来几年 ai 基础设施供应链,从 tpu 到定制 ai sin, 再到高速网络光模块和 ocs, 下一阶段 ai 产业链的机会可能不止在算力芯片,也在算力芯片之间的数据传输。

谷歌对 openai 的 核武器级的战略,在二零二二年底啊,叉 gbt 横空出世, openai 迅速地成为声称是 ai 时代最受关注的公司。 但一个隐藏在背后的问题是,如果没有谷歌,那么这场 ai 革命还会不会发生呢? 因为今天所有的大模型的大语言模型的核心技术啊, transformer 最早是来自于谷歌的研究团队, 在二零一七年啊,谷歌就发布了论文 attention is all you need。 也就是啊,注意力是你所需要的一切。这篇论文啊,就提出了 transformer 的 架构,后来 gpt 系列 cloud 以及大量的大语言模型都是建立在这一条技术的路线之上的。 也就是说,谷歌曾经拥有改变 ai 行业的关键技术,但是技术的发明者不一定成为最终的赢家。现在谷歌面临的最大的问题并不是有没有 ai 的 能力, 而是他是否敢主动摧毁自己的旧业务呢?那咱们今天用这个短视频来说一说这个事情啊。 一、谷歌曾经距离叉 gbt 只有一步之遥。根据啊,曾经参与谷歌 ai 项目的员工透露,叉 gbt 出现之前,谷歌的内部已经开发过类似聊天机器人的系统, 其中啊,一个项目叫做 lm, 就是 语言模型 chat, 也就是差不多的名字啊。那么据相关人员的描述,这个系统甚至可能比后来公开的 chat gpt 更早具备了类似的能力,时间点也非常的关键。 叉 gpt 啊在二零二二年底啊发布,如果谷歌在二零二一年或者是二零二二年的年初就推出类似的产品,那么今天被称之为叉 gpt 时刻的事件可能就会变成谷歌 lm, 就是 语言模型 chat 聊天的这样的时刻, 谷歌拥有顶级的 ai 研究人员,他拥有啊, deepmind 拥有 transformer, 拥有大量的计算资源,但他没有选择提前退出。 原因很简单,就是这个产品可能会改变搜索,而搜索是谷歌最重要的商业基础,这就是典型的创新者的路径。 二、成功企业最大的敌人往往是过去的成功。创新者的窘境啊,指的是一家企业越成功就越难改变自己,因为啊,他拥有成熟的业务,稳定的收入和巨大的组织体系,改变就意味着短期的损失。 谷歌的核心业务就是搜索广告,广告啊,在过去的几十年,搜索帮助了谷歌建立了互联网的入口。所以啊,当聊天 ai 出现的时候,谷歌面临的问题不是看不到未来, 而是如果 ai 助手取代了传统的搜索,那么最先冲击的就是谷歌自己。这和柯达的故事是非常相似的,在上个世纪的七八十年代,柯达的工程师实际上已经研发出了数字相机, 但柯达最大的利润是来自于胶卷。数字相机就意味着摧毁自己的核心业务,所以柯达没有权力的推动后来其他的公司推动数字摄影的发展,最终数字相机取代了胶卷,而柯达失去了市场的主导地位。 那么谷歌今天面临的情况也是类似的,它并不是没有技术,而是它创造的新技术可能会威胁自己最赚钱的业务。 三、谷歌为什么在 ai 竞争之中落后了呢?今天啊,大模型的竞争已经进入到新的阶段, openai 的 gpt 系列和 android 的 cloud 成为了市场的领先产品。谷歌推出的 gemini 拥有强大的技术基础,但市场的影响力和用户的认知方面并没有完全占领领先的位置。 与此同时,其他的竞争对手啊,也迅速地出现,包括 xai 的 rock 以及 deepsea、 千问 glm 等开放的模型。 这就形成了一个特殊的局面,谷歌发明了 transformer, 谷歌拥有世界级的研究团队,但市场的入口却被 open ai 给抢走了。问题啊,可能不是技术问题,而是什么呢?商业模式 四,谷歌最大的优势也许不是模型,而是基础设施。目前 openai 和 ansaro 的 商业模式非常的直接,就是打造最强的模型,然后出售模型的能力, 用户交付这个用户支付 api 费用或者是订阅的费用。模型本身就是商品, 但谷歌有一个不同的优势,就是计算基础设施,尤其是 tpu。 tpu 啊,是谷歌自研的 ai 加速芯片,长期用于大规模的机器学习任务。谷歌也将展望的训练和运行建立在自己的 tpu 的 基础设施之上。 这就意味着谷歌不一定必须靠卖模型去赚钱,它可以玩一种什么呢?另外一种玩法就是免费提供 ai 模型,然后通过云计算、推理服务和硬件的基础设施来去赚钱。 五、谷歌的核选项,开放式 ai 这也是整个的战略分析。最核心的观点就是,谷歌不一定要继续和 oppo ai, 和安 sir、 robert 去比拼谁的模型更贵更强,他完全可以选择另外一条路线,就是开放模型, 让 ai 变成像安卓一样的基础平台。谷歌也曾经做过类似的事情,在二零零七年 iphone 发布之后,苹果选择了封闭的生态,而谷歌推出了安卓。安卓本身就是免费开放的, 三星、小米、摩托罗拉等厂商都可以使用,那么谷歌并没有依靠安卓的系统本身去赚钱,但安卓帮助了谷歌控制了移动互联网的入口,因为大量安卓的设备默认使用的是谷歌的搜索、 chrome 地图服务等。 这是一种生态战略,免费的基础层来换取更大的市场控制力。六、开放模型真正打击的是封闭模型的价值 如果谷歌真的开放更为强大的 java 的 模型,那么会发生什么呢?企业可以低成本的使用,开发者可以修改和微调,大学可以教学,创业公司可以基于模型开发产品,整个生态就会围绕着谷歌的模型在生长。 谷歌已经推出了 java 系列开放的模型,并强调其来自于 java 的 技术体系。而开放模型最大的作用不一定是成为世界第一,而是降低整个市场对昂贵封闭式模型的需求。 如果一个开放模型拥有近似顶级模型的能力,同时价格更低,可控性更高,那么很多企业可能会重新考虑,为什么要支付高昂的费用去购买封闭模型呢? 七、真正的利润可能在模型的下面。如果谷歌采用了这种战略,他可能会主动降低模型的价值。 这听起来很矛盾,但商业逻辑是,模型免费,使用者增加,开发者增加,更多的应用建立在谷歌的生态之上,更多的 ai 推理运行在谷歌的 cloud 和 tpu 之上,最终基础设施成为了收入来源。 这和英伟达的逻辑非常的类似,英伟达并不靠销售 ai 模型来去赚钱,它靠库达和 gpu 的 生态成为 ai 的 计算的基础设施。 那么谷歌的特殊之处就在于,它同时拥有模型和硬件,它既接近 oppo ai, 也金阶,也接近英伟达,这是其他公司很难同时拥有的强大的优势 把真正的问题,谷歌能否改变自己呢?这个战略最大的困难不是技术,而是组织。因为谷歌必须接受一件非常困难的事情,就是主动降低自己当前业务的价值。 如果谷歌只开放小模型,把最强的 gemini 保持封闭,那他仍然在过去什么呢?在保护过去的商业模式。 真正有效的战略必须是主动让 ai 的 模型变得更便宜,主动推动模型的商品化,然后在计算的基础设施层获得收益。 但这要求谷歌做一件过去没有做到过的事情,就是主动颠覆自己。 咱们最后啊,也总结一下吧,谷歌曾经拥有 transformers 人才和计算资源,却错过了生城市 ai 的 第一轮的领先,但它仍然拥有一个独特的机会,就是把 ai 模型变成开放的生态,把计算的基础设施变成新的商业核心。 它真正需要击败的不是 open ai, 而是那个过去啊,那个已经成功的自己啊。

我是国金聚生智能组的冉婷,今天还是跟机械组的秦亚楠老师以及计算机组的孙老师一起跟各位领导汇报一下本周的机器人行情。还是有大幅的回乱, 像我们三个组核心一起推的标地,比如说奥比中光、绿地斜坡以及所成科技,这些甚至都是实现了单日十四个点以上的一个涨幅。 核心的原因一个是直接来看像语数科技,他发布了初步的询价报告。第二个更重要的是谷歌的 gimini robotix 的 这个模型进展比较超预期,它代表着整个 机器人的模型又往前推进了一小步,但是它可能我们整体分析下来,它整体还存在一些像准确率不到百分之六十的一些问题,所以我们今天联合一起给各位领导汇报一下这相关的事情。从我这边的一个跟踪角度来看,我先汇报一下我这块的一个理解, 像谷歌他这块的模型准确率还有待提升,其实是必然的一个结果,因为整个全球现在他对于真机数据还是比较缺乏的,就像小富难为无米无米之炊,数据现在来看真机数据只有全球不到 五十万个小时的一个水平,但是对比像恰 gpt 二点零到三点零真正开始实现画画的时候,当时他们采集的语调就算下来也有上千万个小时。 所以我们在这里下一个初步的一个观点,就是说等机器人的真机数据,高质量的真机数据达到一千万小时以上的时候,可 人形机器人的模型会来迎来一个比较好的一个番话的节点,那这个节点什么时候带到来?我们通过跟产业链的一个调研反馈发现,现在已经有三家国内的公司,像 京东、星海图,还有智园旗下的蜜蜂,是已经把采集数据的目标定到了今年,大概 一共加起来有一千万个小时。所以可能乐观点看,明年上半年就能看到一个数据初步达到一千万小时的一个结果。当然海外的像特斯拉 以及飞哥这些公司,都是现在我们了解到已经在下场自己采数据或者大批量去采购数据。可以发现今年的一个大的变化,就是相比于前两年来看,人形机器人不但硬件开始成熟,而且 数据开始有一定的爆发,这个爆发积累到明年上半年可能会迎来一个初步的质变节点。但最后的结果如何,还得结合看数据的质量,包括第一它是否覆盖多种模态,第二 它是否覆盖肠胃的一些场景,第三是否覆盖像一些错误的、失败的数据级,比如说 机器人抓杯子,让机器的杯子倒了之后,他是否有学到过重新把杯子扶正的这一个过程,这些数据的质量最后会决定整个模型训练下来的一个效果。 从这样来看,其实数据采集我们从今年三月份开始出版写报告到现在已经发出来了,也在持续跟市场各位领导去研究下来。整体来看,从我这边的一个跟踪情况来看, 第一个呢是奥比中光,他上周也是周五实现了大概十七个点的一个涨幅,核心的原因其实也是有这一块的一个推动的,但背景除了像谷歌的模型之外,还有语数发布悬架报告之外, 最重要的是他的数据采集设备开始实现阶段性的成果了。前两周我们有跟市场大概提示他有跟核心的大客户在谈大订单,这周的一个进展的跟初步的一些海外的大母蟹公司已经有 比较大的订单落地了,具体的情况欢迎各位领导在私下跟我这边去单独联系,去汇报。 这个订单的级别来看,目前来看是属于国内数据采集相关设备订单的绝对性第一梯队的。大家从公开资料上也能看到是奥比在七月七号的时候跟市场去推出了全体系的数据采集 一狗,还有手腕的一些采集的手环,这些结合起来其实也是共同去为今年的数据采集的业务爆发提供了一个基础。但他们因为无论从股东的体系来看,包含了蚂蚁宁波,从 核心的大客户来看,下游的很多包括商超类型的客户也是在自己跟他们去谈一些合作。所以我们预计到 下半年三四季度的时候,可能奥比中光这一边会有很多的数据采集订单的一个爆发的情况,或者概率会这个是它的新的增长曲线。它的基本面来看,因为在前段时间跟着 ai 一 起接下来 现在的位置已经低于定增的发行最底价大概是九十七块钱,肯定也低于最近公司大中建持海外资金拿的一个价格,所以综合来看,它的一个相对位置在这块还是比较有性价比的。第二就是它现在的股价 是低于二十倍, ps 的 意思来看,我们看到他的 pe 和 ps 版的来看,就是他的最低股价, ps 版的基本都是在二十倍左右的,所以这个已经进入了一个很好的 竞求区域。领导,这是奥比中光的这一块的汇报。第二个数据采集订单,或者说数据采集面是华谊科技,因为我们通过报告的研究会发现, 像所有的数据采集设备,比如说真机的机器人,还有 imu 以及五米和一狗这三类来看,都是必须装多个 imu 的。 我 imu 现在有大批量订单的,而且 这个公司的战略有快速往 m u 上面去转移的。就是华谊科技,他也是在今年七月份的时候发布了公众号,宣布了跟智源旗下蜜蜂科技区强强绑定,为蜜蜂科技区 供应数据采集设备上的 m u 蜜蜂,他又是数据采集体量目标最大的公司,他是在目标在这两年实现一千万小时,也是首个提到二零三零年 达到一百亿小时数据采集体量的公司啊。资源蜜蜂,它是既卖设备又卖数据,所以它是有直接的抢购采购 m u 的 需求的,华谊科技给它权限绑定,至少在订单的保证度上是有非常值得期待的一些看点的。 所以总结下来,我们本周汇报总体数据采集面,核心标题是奥比中光和华为科技。以上是我这块的汇报,下面有请秦老师汇报一下他这块的观点。好的,谢谢大家, 各位投资大家上午好,我是国金机械组的秦安能,我汇报一下机械板块的机器人相关有些我们跟踪的标语的一个变化,上周主要是谷歌发布了精灵二代的模型, 其实在两块一块,他同步发现发布了一个大脑的模型,他他整个来讲是一个叫 v l a 模型,视觉语言动作模型大概可以分为这个两块,一个是上部的大脑, 大脑的模型叫 e q 剧生,这个模型主要算是负责一些任务规划和进度跟踪等等一些多机器人这种协调, 这个是一个的大大的这个相当于大脑。另外一个现在这种端侧的这种小脑的这个在这个端侧中可以适配各种机器人的这种, 这个就是姿态的控制等等,这些就全身的控制,就实现了整个一些指令到这个电机的控制信号,从这个脚或者是 从脚到整个全身的这种输出的控制,相当于其实跟之前的飞格还比较相似,也是包括志源之前的大模型也比较公开,大模型也比较相似,有一个大脑中间再配一个身体端侧,这边再配一个这种片,就类似于脚脑的 这个模型。那也强调了其实就是在聚生或者说物理 ai 的 发展的模模式中或者技术路径中,其实是一种这种 v l a 的 这种模型方式,也给国内这些 路线基本上也算是一个比较成熟的或者是可以继续往往前探索的的路线。国内的企业大部分也都是像尤其是工业端呢,也都是沿着这种技术范式去做的,尤其像我们一些工业端呢,这些可能有些公司他更多的是想要做这种 有端侧的这种小模型,就是身体模型,这样其实也是有一些很强的这种商业的路径的闭环,比如说一些大公司可能做一些大模型,大脑的这个模型,这个小些, 具体的这种锤炼的公司可以做一些小模型,这样搭在一起打通整个的算法的闭环,其实也能够实现商业化落地。所以说整个谷歌的这新的机械模型也是有望加速整个物理 ai 的 模型的,往 往商业化的这个场景,尤其是真实的这种应用场景的落地。我们之前一直跟市场反复强调的物理 ai 在 工业场景落地的一些值得赛道铲子股,比如说工业视觉的这种公司,像奥福特 斯卡等等这些,还有这工业机械臂的这个赛道,像艾斯顿特斯达,还有像绿地斜坡,斜坡之类这些工业的 这些币的,再到就是垂类应用的,再到像这个就杰克股份,他在他的 ai 缝纫机的订单已经有了大小批荡,落地大概有三千万左右,这个规模还也算是一个 零到一的质变。在服装领域的杰克股份,还有是像叉车工业物流领域的长沙集团,安徽合力, 哎,大概这些公司其实他的传统的估值逻辑,还是一些传他目前的估值这些公司呢?我们提到这些公司基本上的估值逻辑可能还是一些传统业务的估值逻辑,这些像 在物理 ai 的 探索和应用市场,其实现在还是显著低估的,而且季权呢,兑现越来越越近了,其实是有比较大的一个估值提升。这边是我的汇报,下面有请我计算机组的凯奇总汇报一下计算机的观点, 大家好,谢谢兰姐,我是国际计算机的分析师凯奇,待会我们团队分析一下,其实大家这周向谷歌这个模型的发布, 应该是我们在周五晚上也给大家在第一时间联合我们其他几个团队做了对于模型本身的分析,所以我再再主要是强调之前的观点,包括补充一些细节。 第一点这次模型的发布整体来讲是一个比较大的技术进步,但整体还是在过去我们所研究和观察的框架内的一种进步,并不是能够去判断到像就这三点五这样的一个重点时刻的拐点。 这个判断做出的依据来自于什么呢?在于说一方面他依然还是一个大小脑杰姆的模型,而且这次的杰姆娜的一些基础模型作为一个世界理解的底座, 在这个架构当中它其实是有一些模块,这些嵌套最底层的是一个 agent 的 模块,这个模块就是大家不断去探讨到的像这个 gemini robotics e r two 这样的一个 v r m 模型, 这样一个模型本身可能是一个概念的,实际上就是这面奶过去在 l i m 和之前的多媒体的积模当中,花比较大的时间和数据的回贯做训练的一个积模,但有这样一个积模之后,因为在机器人个体多地阶段需要做一些动作头的对接,但是其实在这个公开的一些 x 的 发布的言论,包括在一些技术报告当中,我们也看到谷歌之所以没有把大小脑的这个模型进一步 回贯成一个一体化的模型,核心原因还是因为动作端的数据, action 相关的数据还是非常的这个有限的, 那么在数据非常有限的情况下,就会出现一个问题,我们常说的这个文字的一维数据的信息和这些初 d 的 这样的一些视频数据和我的动作的信息,它的数据体量完全不在一个量级的前提下,它很难在一个一体化的模型当中发挥出非常好的一个效果, 所以我不得不做一个妥协和退让,那我就把这个动作头做一个 v l a 的 模型,那就是我们看到它发布的第二个东西叫做 gemini robotics two 这样的东西,那如果是没有网怎么办?因为很多环境下仓库的网络通信环境,包括在一些地下的这种极端环境下的作业,它的网络信号是比较差的, 那我就做一个断网环环境下的比较小的模型,就是这个 gemini robotics on device two 这样一个模型。所以说白了三个东西, 这本质上还是一个这个在原有框架下的大小脑结偶的模型,大脑是雇用了过去 dumon 的 这种 强势的激谋的能力,小脑就是单独做了一个动作头出来,那如果在断网环境下,我依然还有一个端侧的 on ds 的 模型可以去运行,这个是我们觉得说这次发布他依然还在传统框架下的一个核心原因。 那第二点呢?我们看到其实性能端也不是达到一个特别百分百直接可用的状态,一方面他批露出来的很多数据在多指假爪下,其实成功率还是在百分之八九十以上比较好的一个数据,但如果换到灵巧手就是五指的这种写作灵巧,成功率就会大幅的骤降到百分之六十几以下。 而且其实到目前为止,我们也这之前反复跟各位领导做沟通,市面上没有一个特别统一的和特别权威的奔驰码,可能去衡量 机器人智能,或者我们叫聚生智能,它的一个发展水平,目前我们能看到的一些偏第三方客观公允的这样的一些奔驰 mark, 比如说像 robot challenge 这样一个奔驰 mark, 到目前为止这个 t 宝三零这个榜单当中第一名的水平也依然是以百分之六十四点三三,没有超出百分之六十五的一个成功率。 所以到目前为止所有的开源模型也好,闭源模型也好,在 robot challenge 这样一个平台当中去完成三十项最常见的桌面的整理清洁,到达取放的这样一些任务,它的成功率都还在百分之六十到七十这样一个区间。所以应该说本次这个 谷歌的模型发布,其实也带来了一些编辑端的惊喜,但是这个智能的发展本身它的进步幅度目前还不足以让我们判断。说到了一个临界点,或者是 jpg 三点五时刻的一个拐点性的智能破镜的这样的一个发展阶段。 这次今天我们能看到一些比较令人惊喜的点,大家反复去提到的第一点就是它是一个全身控制的模型,不是一个简简单单只有上半身自动化,下半身 locomotion 的 一个两段式的东西,虽然大小脑本身还结偶,但是 locomotion 和这个 locomotion 的 这样一个合作本身已经做到了比较好的一个融合。那第二点就是跨文体的能力了,那跨文体能力本身也是我们在去年九月份 在这个北美的 skill 点 ai 当中观察到的比较多的仿真数据,在非常复杂的多苯体的这样一种合成之后,能够实现狗,对于机器人乃至对于锯断了小腿的狗,绑定了一条腿的人之后,都能实现一个比较好的这样一个小脑的一个我们叫通用小脑的实现。 那么在谷歌这次模型当中我们也能看到至少在三个本体的跨本体的层面也能实现一个比较好的泛化性。那么跨本体的泛化性本身对于第三方单纯做模型或者我们说做算法解决方案的一些厂商来讲,就具备了去这个售卖的一个规模上的可能性和前提, 所以所谓会出现类似于叫机器人操作系统也好,机器人的这种商业模式的一个技术的这样一个前提。 其二,其三我们也看到这次模型的发布本身也是一定程度上标志着我没有本体的一些,或者我至少到目前为止没有发布本体的一些大的 csp 也好,大的一些 frontier lab 也好,它能够去利用自己过去在 大元模型和多模态当中的一些积累,来实现一些还相对比较不错的聚深智能的一个发布和聚深智能效果的一个展示。 这件事情可能就会带来一个比较大的变化,就是说除了单纯的本地公司需要做聚神智能模型之外, 除了我们现在观察到有一些单独做第三方创业做物流的公司之外,那现在在场的一些已经投入了非常多的 capx 这个做模型和囤卡的大的 c s p 的 引入,可能会进一步去加速这个聚神智能本身的突破。因为我们如果只去依靠 全球不超过五百亿美金的聚生智能相关融资,其实在不论是卡的层面,还是树彩的层面,还是智能最先进的一些牛逼的人才层面的一个引入,都还是有比较大的一个限制。 但如果说谷歌本次的一个发布能够进一步去调动一池春水,那影响到包括像海外的微软也好, o 家、 c 家也好、 a 家也好,都会有很大的这样的一个影响和这样一个促进作用。包括国内其实我们也看到 像这个腾讯内部也在做一些三 d 相关模型的这样一个预言,阿里其实也把 facebook ai 作为下一代重要的方向,所以大厂的进入本身对于整个行业端智能的水平的提升,我想会有更加快的一个促进作用。 这个时候本次发布本身他的重大技术进步和编辑的惊喜应该集中在这三个方面。第二点刚才我也提到说之所以没有做一个大脑以体制的模型,从这个 谷歌内部人员的发言来讲,核心原因还是因为动作数据不够,所以没有办法把动作数据和这个一维的文字和二 d 的 视频作为一个统一的这样一个模态做融入,就回到数据的问题,数据本身也是我们之前在这个大团队层面写过报告,而且我们在去年下半年也多次开电话会讲过, 从真机也好到仿真也好,到衣购也好,都有一些比较长足的发展。那今年我们在 mac 上面也看到了不同的数据采集方案的解决解决商,他的展台的一个曝光都有大幅提升。这里面我觉得分两条线,一方向 甄姬来讲,除了我们聚成智能的展厅总一直在推的奥比中光之外,像三 d 的 雷达相关的一些产品,像速腾和赛他们也推出了在雷达之外的一些空间相机的产品, 结合了这种 rgb 的 色彩信息和三 d 的 一些点云信息。这里面和在今年的总体体量,从这个 costco 的 这样一个收入体量来讲,至少应该是在一个大几千万靠到靠近一个亿的量级。呃,出货的台数应该也是一个大几百台到将近千台的一个量级。 而帕萨斯速腾今年其实也会在九月份正式发布它的空间相机。今年呢,在单纯的拉达层面,机器狗香拉达会从去年九千颗到一万颗出到今天五万五万颗左右,明年目标肯定要出到十万颗到二十万颗。 所以不管是视觉和三 d 点云所融合的一些素材方案,还是单纯的拉达方案,目前的一个机器人方向拉动都是进入到了一个零到一的一个快速的放量阶段。 那第二条线就是分这个路线了,反正这个路线到目前为止全球最好的方案还都是这个基于 mojiko 内核的 newton 和基于 physics 内核的 sfxim 两个平台。但是国内我们也看到像松韵科技也好,像锁神科技也好,他们有一些自产的国产替代的平台。 那么国产线这条链来说,今年下半年非常强的一条链,从国模到国新,到国贵到国产设备,国产模型的智普、 mini max、 kimi、 deepsea、 威斯正式版 国产芯片,这个韩武器升腾九五零的超超巨变,这个超级点方案,包括到今年九月份马上要点亮江源的芯片, 包括像随缘木星摩尔表状的芯片,那国产柜子,像这个华琴和浪潮的 o d m 国产贸易设备整国产链,包括其实国产仿真平台在内,它的物质相对来讲,从长期的 p e 的 消化来讲,也处于一个非常不错的性价比的位置。这是关于仿真,我们主要在推锁神科技 第三条就是这个 ego, 那 ego 本身也是跟我们第三个观点相关,我们还要想去不断强调说这个市场对于沙帕至于合作的意义还是有一个持续的低估,因为也看到最近发布的所有重要的模型和重要的合作,他使用这个手基本上百分百都是沙帕的手。我们其实在去年的这个 十月份以下大家强调这个沙帕威武就是全球最好的手,而且沙帕威武其实手也会持续在模型前沿的一些探索当中,成为最重要的一个助力者。因为如果你没有一个非常靠谱的自由度,跟人手一样的硬件和这个大小的一个形态的硬件,你其实在这个灵巧操作层面都很难去开发出 比较好的模型。所以今年我们也能渐渐去认识到沙帕威武,他就是这个本底端的 uniqoo jone 的 一个角色。去年和前年 uniqoo jone 除了在 跳舞和演示这这这种环境之之外,他主要这个出货成为了全球比较重要的一些 research lab 的 一个 benchmark, 他的去研究的一个主要的本体, 在零巧操作我们的推理这样一个范围里面,其实沙发威武已经事实上的成为了全球去做前前沿的这样的一些模型的研发,包括说重要的环境的适配的一个重要的这样一个底座的 硬件,所以沙发威武本身来讲,它的主要的代工放在核塞体内,而且毛利率都是在百分之三十五到四十五,三十到四十两个不同的区间。 对毛利本身一方面不会去拖拽和赛的传统业务的毛利,同时它的有收获量,而在二季度还有一个暴增,所以可以对和赛二季度的业绩还是可以抱持期待的,而且尤其在和赛速腾目前的估值已经百分百跌去了所有的 ai 部分,只能反映二十倍左右的七零的背景下,向上的弹性 还是非常的这个可观,而且目前的位置基本上就是一个二十倍七零的安全垫位置。这个时候我们说第三点还是确实是强调说市场还是在持续低估沙塔之于和赛的一个长期意义, 所以总而言来说,本次的发布本身是一些这个重要的技术进步,而且有一些编辑的惊喜,但并不是核心的智能临界点。其二,目前数据的这个缺乏还是在限制大小老基友的一个核心的问题, 车强仿真和真机,包括 ego 三条数据的发展,这里面要地主要就是索诚科技、合赛和速腾聚创。第三点我们就持续去强调说沙帕, vivo 的 这个定位,包括沙帕 它对于合赛的意义,在今年大规模出货背景下,可能会为合赛带来更多的一些模型端的赋能,包括出货量、业绩端的一些这样的一个体现。 以上是计算机这边的一些核心观念,也感谢各位领导的一个收听。以上内容基于市场公开信息,不构成任何投资建议,投资有风险,入市需谨慎。

你能想象价值四万亿的谷歌公司就是从这么简陋的用乐高搭出来的一个服务器做起来的吗?我现在在斯坦福大学工程学院黄 building 里面,你猜猜这是谁捐钱修的楼,这里呢陈列着谷歌的两个方面的照片。 这一个呢,是谷歌非常早期在一九九六年他们用的服务器,而且是用乐高搭起来的。谷歌的两个方阵是一九九五年在斯坦福读研究生的时候认识的, 他们在一九九六年一块做关于搜索的研究,他们当时需要把很多很多的网页都存在服务器里面,而那个时候呢,他用这样的乐高搭起来的价格把十个 四 g, 对, 你没有听错啊,四个 gb 的 硬盘,十个搭一块,所以这一个是四十 g 搭在一块。 然后呢开始做他们研究,到了一九九七年,他们注册了谷歌的域名,到一九九八年他们成立了谷歌这个公司,而现在这个公司已经超过四万亿的一家公司了,你能想象吗?他就是从这么小的一个东西 开始,所以不要因为一件事情太小就不去做,因为大事都是从小事开始的。

二零二五年,当谷歌的 gemine three 登顶 ai 性能排行榜的时候,训练它的不是英伟达的 gpu, 而是谷歌自己的芯片 tpu。 the tensor processing unit tpus tpu is awesome, 从搜索、翻译到地图,甚至是 alpha fold two tpu, 它驱动了谷歌几乎所有的核心产品,而如今,它正在向整个的 ai 产业渗透。 二零二四年,苹果发表论文 apple intelligence 全部使用 tpu 训练。二零二五年, astonropik 拿下一百万颗 tpu, 价值数百亿美元,用来训练下一代的 cloud。 二零二六年刚开年, metta 就 签下了数十亿美元的协议,租 tpu 来跑拉玛。 过去我们说整个市场都认为未来 ai 芯片的机会在于推理芯片,英伟达在训练芯片的地位是难以撼动的,但是我们看到现在在越来越多的顶级模型公司中,谷歌的 tpu 正在成为英伟达的替代方案。 你觉得现在谷歌的 tpu 可以 挑战英伟达在 gpu 的 垄断地位吗?在某些限定的条件下, tpu 是 完全可以挑战 gpu 的。 很多人都在讨论 tpu 和 gpu 之间区别,我熟有熟略,未来肯定是两者并存的。 哈喽,大家好,欢迎收看硅谷幺零幺,我是红军。今天我们来聊一聊谷歌的秘密武器 tpu。 那今天跟我在一起的是谷歌前 tpu 的 工程师 henry, hello, henry, 你 好! hello, 红军,你好!首先给大家自我介绍一下,我的名字叫 henry, 很 开心贵股幺零幺的邀请,然后我也是你们忠实的听众和粉丝。 我之前上一份工作是在谷歌的 tpu 组,然后我们我也深度参与了三代 tpu 的 研发,像最近发布的艾瑞沃 v seven 是 我做的第二台 tpu, v eight 是 我做的最后一代 tpu, 在 我离职之前很开心今天能跟大家分享一下我对 tpu 的 一些理解吧。 首先我想说就是 tpu 是 一个上下游产业链非常非常复杂的一个产品,所以它是里面牵扯了很多软件硬件,包括代工,所以里面很多很多技术细节是非常复杂的,也是一个非常庞大的一个工业体系。 所以我也希望我今天只是根据我的理解去帮助大家更加解惑一下 tpu 这一层神秘的面纱吧。你刚刚提到了你其实参与了 vseven 跟 v eight 的 开发,然后据我了解这个其实是谷歌的 tpu, 它们开始去适应大模型的这种域信链 最核心的,然后也是最有竞争力的这两代的芯片也是最新的两代,因为你刚刚提到了它可能涉及到软件硬件,然后包括代工 生产,所以今天我觉得我们可以从硬件软件生产环节每个环节都把它就是详细的剖析一遍,包括现在谷歌的 tpu 跟像 anserapic, 像 meta 这之间的合作,我们可以看看它是如何影响到整个未来的英伟达的生态的。 最开始啊就是第一个问题,很多人他并不清楚我们说 tpu 跟英伟达现在的,比如说 gb 两百或者 h 一 百的 gpu, 它有什么样的不一样。我们可以先简单给听众介绍一下 tpu 跟 gpu 它的不同之处,尤其是它在预训练方向的不同之处。 觉得首先啊 tpu 和 gpu 本身它的架构是完全不一样的,然后 gpu 大家可能更加了解,更加多一些,因为它是最开始它是做游戏的显卡,所以它里面 会用到一个术语叫 cinti, 它是一个 cinti 的 架构, single instruction multiple threading, 它是一个多线成单一指令的一个架构,所以可以理解成一个厨房里面啊,同时安排着很多很多个大厨, 他每个人都有自己独立的思考能力,然后独立去从冰箱里把东西拿出来,然后做完菜,然后最后上菜,他们可以独立完成这样一件事情,所以你安排很多很多大厨的话,这样的话并行计算能力就会非常非常的强。 这个是 gpu, 那 如果我们同样用做菜啊来比喻 tpu 的 话,你觉得它的流程跟 gpu 有 什么不一样? tpu 和 gpu 最大区别就是 tpu 是 一个针对机器学习的一个加速器,我们知道机器学习任何的算法,包括最开始的 cnn, 到现在的 attention, 到 到 transformer, 到未来的架构,你们的核心就是矩阵计算,我们知道矩阵计算这个东西是非常啊, compute bound 是 一个 compute intensive 的 一个一个工作, t p u 的 话就是针对这个矩阵计算专门做了一个定制的加速器。所以你可以理解成做饭的话,我们是一个 流水线,我们知道今天要做哪道菜,然后 t p u 的 话,相当于是把啊,不用安排那么多的大厨, 但是他会把大厨安排在每一个步骤上,会把每一个步骤都啊告诉你你具体做哪个步骤的活,然后你做完之后直接把你 你做完的,比如说啊,第一个人会从冰箱里把菜给取出来,第二个人直接把第一个人做完的部分的中间菜的结果做加工传到第三个人, 然后相当于中间每一步骤,你可以理解成是心脏的泵血,他就会把血液传输到你身体的各个角落, 所以这样的话中间它会少很多的啊调度,少很多的调控,所以这样的话它能保证每一个计算单元的使用率会更高一些,所以我理解其实就是,呃, gpu 它是这种,有一点类似于并行的,就是你每一个环节它是独立运行的,然后 tpu 它是一场接力赛,那在模型的训练上,这两种就是不同的架构, 它的各自的优势跟缺点是什么?我觉得现在预训练包括后面的 inference, 我 们现在慢慢地从一个计算 computer bound 变成 memory bound, 所以 我们现在对内存的要求是非常非常高的。所以 c m d 它架构它有一个缺陷,就是因为你需要独立地去做这样的计算的任务,所以你有时候会一直在等数据翻译过来的任务,所以你就会有一些闲置的 idle period, 所以这个过程当中的话,就会导致它的那矩阵计算的利用率没有那么的高,它预算法 rate 就 会有下降。然后 tpu 就是 根据这一个特点,然后 弥补这样一个缺点吧,我这么觉得,然后它相当于是我们大家可以具体聊一下它的软硬件的一个协调的一个效应,它会保证它是一个满功率下的一个运行, 然后它不需要等待数据搬运的过程,它要么利用当天的缓存把一些提前搬运过来的数据重复去利用,或者说把我们的贷宽跑满,这样我们可以把那个 memory utilization rate 也能达到 一个峰值。所以如果整体上我们用一句话来去做结论的话,你觉得 tpu 跟 gpu 呃他们在这个模型的训练上就是谁更强,然后能优化多少?呃,我觉得从预训练上来讲的话,目前呃 gpu 和 tpu 最大的区别就是当 gpu 也现在也开始往那个方向去发展,因为 tpu 一 直做一个 system level, 它是一个大的计算集群,而不是单卡单芯片 去做预训练。 gpu 可能很长一段时间都是单张卡的,性能非常非常的好,但是它没有一个网络。 嗯, tpu 一 直是主打一个 tpu pod, 它是一个有几千张卡的一个协同的一个训练的一个状态,它里面牵扯到了很多通信,我们当然可以继续聊一下,就是 i c i 就 interchip connect, 它芯片与芯片的通信和和这个网络,我们叫做 three d taurus, 一个拓扑的一个网络,它可以让几千张卡芯片, 它用户的感觉当中是一张卡的训练,那它中间训练效率是非常非常高的,这样的话它的成本也是可以打得下来。因为我,我是看新闻报道说谷歌 v 七的,就是你研发的这台 这套 irinwood, 它的芯片,它在物理参数上已经非常接近这个 g b 两百了,所以它如果在真实的这个工作中,或者我们这样说,就是我们同样是训练一个 gemini 的 模型,同样一代的模型,同样的这个参数量, 那用 g p u 跟用谷歌的 t p u 谁更省钱?哈哈,对,我觉得这很好的问题。我的理解是,呃,针对自家定制的大模型, 就就谷歌的话就是 gemini, 将来如果说谷歌给其他大公司 frontline 大 模型工定制的话,我觉得谷歌性价比是更高的。性价比我指的就是它的 t c o, 就 total cost of ownership, 就是它的成本会更加有优势。当你知道你的 workload 是 什么的时候,你就可以根据你的 workload 去做一些不管是物理的芯,芯片层面的一些定制,或者说在软件层面去定制。 虽然说它可能有点黑盒的感觉,但是就是我知道相当于给给出了你所有的 assumption, 你 所有的已知条件都确定下来。 那我觉得 tpu 在 现实生活中啊,现实条件下,它的训练效率还是 tcu 都是会比 tpu 更加更加强大的。刚才我也提到这两点,它的 utilization rate 是 更好的原因,第一是它的一个 flops, 它的 flops 我 们指的就是呃单位时间内它做多少次浮点式计算。 对,所以这样的话,因为呃 t p u, 它里面主要的架构就是矩阵计算,所以它软件和硬件可以保证它每次每个时间,每一个计算单元它都有活在做。我们的软件相当于是帮助硬件说,哦,我不会让你闲下来,每个时间点你都给我做活, 但是你具体做什么活是我告诉你的,你不需要去精准地去预测或怎么怎么样,所以在硬件层面说,我们不会加很多的控制单元,这跟 gpu 很 大的区别就是我们不需要任何的 prediction, 它 prediction 那 一层 level 相当于都是在软件层面去实现的。 对,所以相当于你把硬件变得更蠢了一点,相当于是一个机械式的劳作软件,那边帮你把所有 complexity 都给处理掉。所以这样的话, ios 主要有两大的进步,一个进步就是它把它的 flops peakflops 数值上跟 gpu 更加接近了。然后另外一个点我觉得非常非常重要,就是它的 memory bandwidth 也是有一个巨大的提升。首先它肯定是用了更大的 hbm, 它保证了一定的贷宽,然后个然后第二点就是这个 hbm 的 贷宽,它能被软件充分的去利用起来 更高兴呢? hbm 它现在在市场上,从供应链的环节它好找货吗?非常难找。因为 hbm 的 话,首先它是一个非常非常 有点有点垄断的一个感觉,一共就三家公司垄断这一个生产啊,应该是 s k hynx, 三星和 micro 英 伟达一直是 h p m。 最大客户。然后 t p u 的 话一直是相当于是一个一个 secondary 的 一个一个 customer。 所以 你要跟那三家公司去确定一个订单的话,我觉得是需要一个良性的合作关系。那之前的话啊, t p u。 一 直没有办法获得那么好的。 呃, h b m 或者说那么大的订单。那现在谷歌 t p u 它的产量是多少?具体数据我不是非常清楚,但我觉得也是在一个慢慢的爬坡的过程当中。呃,谷歌 t p u v 三分之前的话一直是有一个产的问题,我觉得也是一个 很多因素导致的,因为毕竟 e seven 之前我们一直没有一个对外的一个生态,所以我们更多是针对内部的一个 deploy 和使用,所以我们没有办法和 brocon tsmc 或者刚才所说的那几家 hbm 的 厂商去锁定一个很大的一个订单, 因为产量都是提前一年或两年去锁定的,当你没有那么大的客户或没有那么大的需求的话,就是,呃,你临时想去调整是比较困难的一件事情。然后第二点我觉就是一个啊, koloss 就是 koloss 是 tsmc 的 一个资质 啊,我们可以理解成我们现在的芯片都是跟以前完全不一样,因为我们现在都是做一个 co design, 我 们的 hbm 内存芯片和计算芯片是两块独立的芯片,通过一个 二点五啊 d stacking 的 一个封装,把它封装成一个集成芯片,这个的话 t p u。 谷歌自己做不了啊, brocco 也做不了,它只能依赖于 t s m c, 所以 t s m c 给你分配多少的才能,你就能一年 达成多少产产能,所以 t s m c 它去分配产能的时候,它也可能会看这个谷歌它要的量是多少,如果你的量大的话,比如说像英伟达它的量就比较大,它是不是可能会先去做这个英伟达的量,凭这个订单量说话。对对,然后你这个 coos 是 指在它的整个的封装环节的一个部, 就是我们可以把现在产物的瓶颈,如果我们要去呃,整体的总结一下,就是你刚刚提到的 coos 跟 tsmc 这块是在封装上的一个产物, 然后还有一块就是 hbm, 它是高带宽的内存供应。然后这个可能也是一个瓶颈,就是由三大垄断巨头去呃,把持,所以主要是产物,主要是这两块。对,卡在这两块上。 还有一点就是两率,两率的话就意味着当你 gsmc 把一个 wafer 带就生产出来之后,它上面这一块 wafer 上有多少是合格的芯片? 因为 gpu 和 tpu 它的制造理念是不太一样的, tpu 它更多是主打一个通信,它是主打一个芯片与芯片之间通信,然后这样的话导致它的中间的失败率会比 gpu 会更高一些。嗯,然后一旦失败了,因为 它保证整个系统里每一张芯片都是性能大致是一样的。是的,如果有参差不齐的话,它整个 system 跑起来的效率就不会有那么的高。嗯,但 gpu 可能就不存在太大这样的问题,因为我们都知道 gpu 有 自己 燕哥的版本,就是 h 一 百 a 一 百,所以一旦良率不好的话,它们是有,它可以往下降级。对,但是 tpu 不 可以。 tpu, 但你们也有,之前比如说你现在有 v 八,然后你有 v 七,你还有 v 六,它不可以降级吗?很难,因为是定制的芯片,价格都会不太一样。 对,所以对比较难,不是通用的芯片,所以一旦你良率不行的话,就这一款芯片相当于报废了,所以相当于你产的就没办法 一下子提上来。所以这个是我们刚刚说到的,就是生产环节中的,然后生产环节取决于你的订单的量。嗯,因为 astropic 它其实是有跟谷歌说我要采购你一百万的 tpu, 一百万应该也是一个很大的很大的订单,因为达现在它的比如说 g b 两百或者 h 一 百这些可能也是一个百万级到千万级、千万级、百万级、百万级。对对,所以其实我觉得谷歌现在看起来这个 t p u 已经是在蚕食这一块的市场份额。对,我觉得 我觉得 tpu 及 ppu 就 很难是同一个维度的去考量吧,或去评价。我觉得 anselfo 这一个订单确实是挺大的一个订单。我觉得第一有很多个因素吧,第一我觉得 anselfo 是 一个 相对于内循环,因为 anselfo 很多投资方也是 google, 所以 我觉得 anselfo 是 一个深度合作的一个关系。相当于如果说是 meta 或者说其他的公司的话,我不确定它的成本,它的它的 tcu 到底是能不能压得下来。 然后第二点的话,我觉得就是 ensoft 它的工程师的技术能力还是非常非常强的,所以他们能去用 tpu 来部署他们自己的自家的模型。然后,嗯,就我们大家可以详细聊一下,为什么啊啊? tpu 的 部署在一般 external, third party, customer 上那么的难,但我觉得 astroopedia 目前来讲是有这样一个谷歌的生态的,我是,我是这么觉得,所以 astroopedia 拿下这个订单我觉得也是有很多因素在里面。那我们就顺着继续讲一下 astroopedia 可以, 它是不是跟谷歌的整个的软件生态有关系,因为我们说在 tpu 上要搭一层软件。嗯,然后我听说过这样一个说法,就是说因为 anserapic 它们的很多人最开始是在 google 的, 所以它们其实是非常了解 tpu 上的这一套软件生态的部署的,所以它们可以用 tpu 去 训练模型。回答这个问题之前,我们可以先简单聊一下 x l a 吧,因为我觉得 x l a 也是 google 的 一个,你可以理解成黑盒,也可以理解成是一个 secret sauce。 对, 我觉得 x l a 和库大最大区别。 x l a 是 一个静态的一个编辑器,然后静态编辑器指的就是当你的 workload 是 已知的或者给定的话,它可以把它做一个局域的优化。 优化分很多层面啊,我知道,就是他们会做很多内部的算子融合,比如说你一个 kernel 里面有很多计算,然后你还会把一些计算呃合并到一个计算单元,一个算子,这样的话你能更好地去利用你的你溯溯理理里面的矩阵计算 的利用率,然后你中间的中金态结果你不用反复的存进内存啊,存出来 x l a 会帮你自动做这样的优化,然后它还会做很多的一些内存的管理啊,怎么去更好的去分布你的内存? 他知道 t p u 怎么喜欢,怎么从内存里面去把书给读出来,那这些方面都是跟硬件架构和一些具体的细节是非常非常相辅相成的, 所以 x l a 会通过一黑盒帮你去优化这样的一件事情。但问题就是这个,这个事情你是没办法去 很好地去 defrag 和去控制。对,就开发者他很难去用 x l 对 这套系统,然后就一个是编程语言,他们不会对吧?对,他,他用的是什么编程语言啊?是这样的, x l a, 它,它是一个一个编辑器。哦,编辑器,它上层是 py torch jacks 和 tensor flow, 相当于你的开发者,你可以写任何一样的语言,然后它它通过 x r y 可以 把你转化成 tpu 的 的 assembly code, 就是 tpu 的 指令,它中间是做一个翻译的工作,翻译加优化,所以那个它对应,如果对应英伟达的话,对应的就是扩大的整个生态体系 啊。对对,嗯,那我们说就是我们刚刚提到其实 astropic 他 们是有工程师去懂 x l a 的 这套体系的,然后 astropic 它现在应该已经是用谷歌的 t p a 去春了一些模型,对不对?对对,就已经有这样的一些成果了。 因为我们知道在 gpu 去训练模型的过程中,工程师经常会遇到的问题就是说,呃,它有一个 bug, 然后我需要去解决它,然后我需要在它的这个软件的变器上,比如说库大的生态上去看看是哪个环节出了问题,然后把它解决掉。那现在如果是用谷 的 t p u 出了问题,刚刚你也提到了 x l a, 它是一个黑盒,那要怎么去解决呢?是必须找谷歌的工程师来解决,还是他们自己就可以解决?你可以理解成 x l a 是 黑盒,但它里面有很多很多的帮助你去 bug 的 一些工具和一些 function, 但它问题就是你需要对硬件是有一些了解,你才能更好地去分析它。因为它 x l a, 它会把很多算子做融合,然后内存做管理。这样的话它是一个 graph 啊,它不是一个单个的计算, 它是一个链条,一个图标,所以相当于你这样低 bug 起来,它对工程师的要求会更,它是可以低 bug, 但对工程师要求会更高更高一些。所以 angelropik 找你们了嘛?在训练的过程中,因为一旦发现 xl 的 bug, 你 就必须让 google 的 工程师来去帮忙,去分析,去解决。如果是真的是个 bug, 需要去解决, 外部的开发者很难独立去处理一个或 fix 一个 bug。 不 像库大的话是有一个很好的生态,你可以去 对对。所以你们大概比如说因为有卖一些 tpu 给 answer rock pick, 你 们会有多少人的一个工程师团队去支持他们?这个就是项目中遇到的各种 bug 的 问题。我是做硬件的嘛,那我们有很多软件组专门去对接不同的不同的客户,像我们现在,可能之前他们是有 apple, 有 啊, midoriy, 然后 astropic, 他 们都是会有很多很多的 request, 就是 我,我离职之前的话也听说他们很多组都是非常非常忙的。是的是的是的,我昨天听说就是 用谷歌的 tpu, 最大的团队其实不是 astropic, 虽然他们下了一个一百万的订单,之前模型上也有有用过。呃,最大的团队其实是苹果。对 对,然后苹果是因为就是庞若明之前在这个 google, 然后他去苹果的时候,他就是相当于把谷歌的一整套带过去了,然后又直接用的这个 tpu 去训练他们的这个大模型。 就我觉得也牵扯到一个软件债的迁移嘛,就是你要用 tpu 的 话,你必须要把原来的一套软件债全部迁移到 jx x l a 上, 如果你不迁移的话,你当然可以去做。它能跑,但你就利用不到 tpu 那 么好的性能和 tcu, 就 要把它的性能榨干。对对,因为如果现在目前 tpu 它最相比 gpu, 它最大的优势就是它,它成本控制得很好,相比起芯片,它更多依赖于软件。那你觉得 google 的 这个 jamming, 它的模型,因为它现在是应该是市场上最好的模型。它的训练出来跟 tpu 的 关系有多大? 我觉得关系是很大的。嗯,能占决定性因素吗?还是算法?其实是占决定性因素的一部分,算法当然很重要,因为我觉得现在就是 呃训练,特别是 pre training, 它 kpx 很 大,然后它算法,我觉得 dmind 那 边有非常非常前沿的算法。 tpu 能帮你去做的一件事情,当你有一个很好的算法之后,然后你,你提前跟 tpu 子沟通好。我,我是怎么样的一个算法?我怎么样的 walkthrough 的? 我给你去定制这样的一个加速器,这样的话我能帮助你在一个更短的时间,更更快的迭代去测试这样一套算法。 我,这是一个很重要的一个事情。就是,呃,如果说你的训练效率很差的话,你需要花更长周期去验证一套算法是否能 work, 但 t p 如果能把你的时间打下来之后的话,迭代速度或你就会更快一些。对对,你们定制这样的一个芯片大概要多久流程 啊?对,我觉得这是非常,这是个,这是个任何芯片公司的一个痛点吧,包括 tpu, 包括 gpu, 他 们很多的时候都是在预测未来市场的变化, 包括预测未来模型的变化。之前知道就是 moe 的 话,也是很早就是有这样的一个想法, moe 很 长一段时间在 tpu 和 tpu 上跑的效果都不是特别好,但是后来 tpu 增加了,或者和软件一起增加了针对 moe 的 优化,那是哪一年 啊?应该是 v 四 v 五。哦, v 四 v 五那时候就已经好早了。 v 四 v 五应该是在模型你模型初端初 初刚刚开始出来的时候。对对具,具体是二零二二年,二三年,二三年,二三年。对对,那太早了,可以详细介绍一下。就是为什么之前 mo e 一 直在 tpu 上跑不起来的原因就是因为它是一个 tpu 芯片,只能跟它的 neighbour 相应的 tpu 芯片作通信, 它不是一个 all to all 的 一个 communication。 这意味着如果说 mo e 的 话,它按下有一个 routing 的 一个一个 face, 它需要把它的 routing 给 不同的专家,它不同专家分布在不同的芯片上。所以如果说你没有一个 all to all 的 connection 的 话,你这样的话,中间你就相当于你要你要找一个朋友,你中间要经过很多个环节, 经过很多,这样的话有很多的浪费,很多的拥堵。然后后来在 v 四的时候, tpu 推出了一个叫做 three d towers, 它对,它用了一个叫做 ocs, 一个光纤的一个交换机,它相当于这是一个 software programmable 的 configure 的 一个交换机,相当于的话,你在一个 tpu pod 的 一个节点,你可以 通过软件来更改你想通信的那个 t p u 集群的一个路径,这样的话就相当于一下子把 m o e 的 一个一个痛点给去解决了,然之后的话啊, m o e 就 在 t p u 上跑起来,效率就会明显比之前高很多。 所以我理解这个迭代是以年来计算的,因为你设计出来了还要量产,对吧?对对对,量产的节奏一般是多久啊?半年。 那你能打得下来吗?打不下来。对,打不下来。呃,对,我觉得看就是每家公司的 philosophy 都不一样。对,像 t p u 的 话一直都是主打说我一定要做一个旗舰的一个 training chip 或旗舰的 inference chip, 一 直以来都是这样的一个想法,所以说 这对快速迭代要求会非常非常高,因为你每一代芯片都会塞很多很多样的事的的。呃, request 嘛,然后相当于整个流程,当你设计完,然后我们会做呃呃 验证,然后再交给 brocom 去做通信上面的那些设计,然后在整个 package level 再做验证,最后交给 gsmp。 我 觉得整个流程最快最快也要两年到两年半,三年。所以我们今天看到的就是你刚刚提到谷歌已经更新到 v 七 v 八 v 八的这一款了。 这这一款我理解,他在设计上他是两年以前就做了,但是我们说就是模型的更新,包括模型里面大家核心的这个算法往哪个方向走? 呃,最近我觉得基本上是每六个月可能就会变化一次。是的,非常,也就是说你要在两年前去预测两年以后的这个模型,他在往哪个方向走?对,压对了吗? 呃,目前来讲 v seven 应该是压对了,这也是为什么可以解释一下为什么之前 tpu 的 芯片和 gpu 的 纸面参数上是有一些挺大的距离的。 因为之前 tpu 的 主要的 work load 是 内部的一些 recommendation 和 ranking system 的 算法,所以它可能没有想到 gpt 出来之后有这样一个大的需求和对算力上一个那么大的一个需求。它针对 recommendation and ranking 是 完全不一样的 work load 的, 它里面我之前我参与也是设计了一道啊,一个模块叫做 sparse core 稀疏计算的一个模型,它是专门针对一个 recommendation 的 一个 embedding, 它这个 layer 的 一个算法做了一个特定的优化,但那个优化里面它没有很稠密的矩阵计算,它更多是一比较稀疏的矩阵计算,所以我们会针对它,我们做了很多算法,所以它牺牲掉了一些那个矩阵的那个 有算数的密度。那时候我们发布出来之后,你感觉跟哎 g p u 好 像做提升器,它好像比 t p u 更好了一点,是 v 几的版本。 v 几啊,那时候应该是 v 四, v 五, v 四 v 五对对,它开始把它所有的这个核心性能往大模型的预训练上调,是哪一代,然后是哪一年? 对,应该就是 v 六吧, v 六开始的。 v 六开始我记得应该是做了两个版本,一个是专门做训练,一个专门做 inference。 对, 训练所 inference 其实本质上它们是用的是同一套架构。 inference 可以 理解成是训练芯片的一套字集吧,它可以有更小的运算单元,它可以有更小的内存,因为相比 training 的 话, inference 它不需要 做 back propagation 反向传播,所以它不需要很多的那种中间谈,不需要存储很多的一个副本,差不多是在也是在两年多两年前去开始调整方向的。其实 g p t 它是在二零,二零年 它就有一个版本放出来,当时是 gpt 三嘛,就谷歌那个时候,它已经开始就是意识到这是一个 next big scene, 然后它有去做这个芯片上的调整或者 tpu 上的调整。对,其实谷歌很早就开始,因为 transformers 也是 google 出来的嘛,谷歌很很早就开始 呃知道 transformers 这套架构了,然后根据这套架构我们芯片组,我们也知道我们会去呃做这一套架构的一些去优化,包括 attention kernel 啊,就很早就已经 在内部里面你知道了。你这样说我突然想起来就是我觉得谷歌的 tpu 到现在它能在整个的模型预训练中性能表现非常的优秀,也是因为 transformer 这套架构是谷歌发明的,然后从 tpu 的 这个诞生开始,它就一直走的是这一条的路径,所以 我们其实也可以把 tpu 理解成一个针对于大模型预训练或者推理的 asic, 这样说是对的吧? 没问题,没问题,然后你这个 asic 就 一定要压对方向,对,它压到了 transformer 没问题。对,对,因为我觉得有有点 insider news 的 感觉。是的,我们知道这 transformers 大 概模型什么价位,比起行业外我们更早地知道这样的一手信息, 更早知道它是怎么样的一个 workflow 的, 所以我们相当于是有一个先发的优势,但我们的问题就是本质上 a c 和 gpu 它就是一个是通用性好,一个通用性不好,就说即使我们没有一手的信息,但是你一旦确定这个 a c, 它是没办法去改变的。 所以说 gpu 胜就胜在它,因为现在迭模型迭代周期非常非常短,都是以月来做单位。是的,所以一旦你的芯片架构固定下来之后,一旦有个新的算法上的一个动态的一个改变的话,你在 tpu 上就很难去实现这样一件事情, 即使你有先发优势,但后面的竞争会越来越激烈,这样的话你的先发优势可能也会慢慢被蚕食。我觉得有一个阶段就是 gpu, 因为它通用性好,所以它 gpu 上去跑模型的迭代速度会比 tpu 更快一些。嗯,那现在是哪个阶段 tpu 更快 啊?目前 v seven 是 感觉跟 gpu black 啊 blackboard 已经是旗鼓相当了。旗鼓相当对,但是 v eight 目前不能透露,但,但但,但是技术细节肯定是不能透露。但是我刚刚提到 mo e 这样一个架构 啊, tpu 在 物啊,在芯片或通信层面随时来把它去解决这样一个问题。但是我担忧的一点就是这一套架构它的 scalability 到底有多强? 如果说将来有一个完全不同的一个范式,完全不同的一个一个一个模型,然后你没办法在 tpu 上做这样的去优化。对,然后 gpu 上可以,因为是的,对,这样的话你定制芯片,因为 tpu 团队跟 gpu 是 不是一个量级的,你没办法做一个快速的迭代, 这样的话你的性能上差距可能就会被拉大,所以我觉得,呃,这个很难去评判。现在我觉得就是可能是我对 tpu 的 一个担忧吧,就是万一将来有一个不同的范式,它它怎么去 跟上 tpu 的 步伐?我们刚刚提到了,就是,呃,如果整个大模型它的训练范式变了,然后就会影响到整个 tpu 它的销量。 你的这个范式指的是就是有多大的范式调整?我我可以举个例子啊,就比如说如果我们整个以 transformer 为底层架构的这样的一个范式变了的话,那我理解 tpu 没用了,对吧? 可以可以这样说啊,不完全准确。就 transform 它核心还是矩阵计算,对,矩阵计算的,矩阵计算的,如果这样的一个,但这样应该不会,应该不会对,应该不会对,但是我们就是说如果出现了,呃,类似于不同意 transformer 的 新的架构,嗯,那 tpu 它就不一定有这个 gpu, 它的表现好。是,那如果是在模型层面,就像你刚刚说的,比如说说有一些这种 moe 的, 呃,一些新的方法的微调,但它还是基于整个 transformer 的 这种,你觉得 tpu 未来它还是会持续地占优势吗?包括大家现在很热地说,呃,我要用这个 rl 的 方式去做 agent 的 训练,或者去做模型的训练,呃,就是 rl 对 tpu 的 影响会大吗?啊?我觉得 肯定是会,会是不一样的 workload 的, 肯定是会有影响,就是我觉得现在 tpu 的 策略就是把芯片变得更加的通用,我 也是在往这样一个方向去发展,相当于它矩阵单元,它可以处理各种 workload 的 矩阵计算,然后它也有专门负责去处理一些稀疏的矩阵计算的一些单元,它可以理解成把很多硬件上的一些计算和内存模块化, 来适应你将来不同的那个范式,所以从某种意义上来讲也是一个像通用性的一些妥协。 了解。对,我觉得之前以往几代芯片可能设计的没有那么激进的原因,也是有一部分的考量,就是如果一旦你设计的非常激进,你可以在 jm 上模型效率可以提升百分之三十到四十,但万一有变化呢?万一有变化,那你回去的话你就会非常非常的 痛苦,所以我觉得这是一种基于现实的一种 compromise, 我 觉得。然后我们刚刚提到了就是整个在适应新的算法方向的从设计层面的调整。那还有一个我觉得谷歌最近也比较用力的,就是在软件层 让整个的中间的软件能够适应更多的开发者的调整。我最近是看到一条新闻,说这个 google 跟 meta 也有一个这样的 tpu 的 采购协议,然后谷歌向 meta 提供这种 tpu 的 呃托管的服务。呃,但是呢,就是他可能核心想做的就是把 pi torch 变成这个呃 tpu 的 一个中间层,类似于像谷歌的扩大生态这样的一个就是比如说大家在做翻译器的时候可以用 pi torch 来翻译我,我有了解,但具体的细节还没有没有公开嘛?所有的 mana 都是用 pi torch, 这大家应该是众所周知, 所以但 pi torch 刚才我也有提到它跟 tpu 的 生态其实不是特别的兼容,所以它很难像 anstopin 那 样,它也做一个深度的一个 啊,对 tpu 整个软硬件生态的一个使用啊。目前来讲,我觉得它可能更多是依呃依托于谷歌云,谷歌 cloud 提供更多算力,因为嗯,包括麦当劳,今年它其实 嗯股价不是那么好的原因也是一个 kpx 实在是太大了,它对特别育训练这块的成本支出实在是需求非常非常的大, 它已经把市面上所有能买来的算力都都买来了,去做这样一件事情。所以我觉得 tpu 相当于目前来讲也是去帮它去 off load 的 一些它这一方面的一些压力。软件泰的话, pto 啊,很早之前就跟 tpu, 包括啊费尔那个团队跟 tpu 都有接洽,就说能不能在 tpu 上更好地去支持 pto, 这样的话我们也更好地去做一些 research 的 开发。 目前来讲,我觉得谷歌也是有在去做一些改变了。离职之前也知道有很多组在做 payout 和 xla 的 结合,包括在 xla 和 tpu 上支持很多啊, native 的 一些 payout 的 一些 library 啊,一些并行的 library 和一些算子。 因为因为现在拍套一下算子实在太太多了,他可能有好几千个算子,如果你不在硬件上原生的去支持这些算子的话,你的性能表现就会比较差一些。那所以如果大家直接用谷歌云呢? 这是当然可以,但但问题是什么?问题就是直接用谷歌云的话,相当于你把你相当于托管了,你没办法做很多底层的去控制, 如果你想去挖掘每一分的姓名的话,嗯,你从谷歌你就没法去做这样的事了。这是会有浪费,会有浪费。嗯,这个浪费大概会在一个多少的百分比, 这很难说多少到多少。一个大概的比例,比如说百分之五十,嗯,它可能是一个非常大的浪费,百分之十它会稍微小一点。对,这就是我刚才说到就是那个 model utilization rate。 嗯,如果说你结合得非常好的话,你能几乎满状态地达到一个 peak velocity, 嗯, 但是如果你用谷歌云来跑的话,你很有可能就是可能用到只有百分之五十,百分之六十,它的预收款 rate, 嗯,但是你还是要付同样的钱,对吧?啊,那区别还是挺大的。对,所以现在 meta 跟 google 的 合作,反而我是看新闻报导啊,我觉得好像是在这个, 呃,谷歌的谷歌云上跑,对吧?对对对,嗯,目前我知道直接购买 tpu 机架的 rack, 嗯,直接从 france 购买,应该只有 antarctic, 其他都还是。目前还是谷歌云啊。所,所以你苹果跟 midori 也是在谷歌云上跑的。 嗯,那这样也简单,就从谷歌招工程师过去。对对对,人才的流动,所以谷歌的工程师现在应该是就是还挺吃香的。对,我觉得如果将来有很多更多的第三方加入的话,特别是 jax 加 x l a, 这其实是一个非常非常 高技术壁垒的一个一个一个工作吧。所以,特,特别是我觉得,呃,如果之前在谷歌有这样的经验的话, 能更好地迁移过去。对,多长时间能学会一个工程师?哈哈哈,还是挺难的。还是挺难的,因为你需要了解硬件,也需要软件了解软件 啊,它是一个复合技能,复合技能。对,然后我们看到就是在今年,就是,包括就是之前啊,就很多开发者他在调这个大模型的 api 接口的时候,其实我注意到谷歌的这个 api 接口的成本大概最开始是只有 openai 跟 azurepic 的 十分之一。嗯,呃,同时呢,这个 azurepic 它最近的四点五, 它的这个 api 接口大概是下降了百分之六十七。然后我看有媒体报道啊,把这部分的功劳归功于它是用谷歌的这个 tpu train 的, 呃,所以这个是这两者是直接相关的 um, 可以说这样在推理成本上,推理成本上确实是这样的,我觉得,呃, google 它现在的推理芯片成本确实会比 gpu 要高不少。 嗯,它的原因就是刚刚所说它是一个集群的,一个一个推理,它的 tco 就 能打得下来。刚才没有提到一点,就是 gpu 的 集群,它用的是一种 nv link, nv switch 这样的一种通信协议, 这个其实很烧钱,它是一个你可以理解成是一种 infrastructure 的 一种 tax, 所以 你需要跟很多不同场场去买这种交换机,然后部署在你的数据中心当中。这是一个很大的成本开支 bug, 因为它用了它不一样的一个拓扑架构,它用了一个是芯片与芯片之间直接通信,它用的是个铜,它不用交换机,然后它只有在某些节点上用一些光学交换机,它也比较少,然后实现了同样的一个通信的一个效果,所以它在一个成本支出上就是 会比 gpu 要好很多,所以就是我理解在建数据中心的这一环,成本支出上就是会比 gpu 要好很多,所以就是我理解在建数据中心的主要成本是交换机。 嗯,我了解到他们在搭的整个的这个芯片集群里面还要铺很多的铜,是不是?是不是他们都是用这种铜的这个线来连接起来的?对对。那谷歌的主要成本是什么呢?是夜冷啊, 夜冷是某一块吧?嗯,夜冷是一块,然后其实跟英伟达也也差不太多,它也主要成本也是它的一些。呃, siri, 它的那个我们会跟 brocco 深度合作一些。呃,这种 siri 就 当于是把星号从 一个芯片准确无误地传输到另外一个芯片。因为啊,相比 gpu 的 话, tpu 它更多依赖于 sirius 的 一个稳定性,所以它的那块资本支出也是很高的。然后你们跟 brocom 的 这个合作会持续多久? 呃,还是它是根据量来的,如果量大了,谷歌可能就自己做。对对。呃,因为现在市面上有两家公司跟做这样的代工,一家是 brocom, 另外一家是 marvel。 最大的区别就是 brock 有 点像 two b, 它是一个 two b 的 一个 business, 它就锁定一个最大的客户,然后跟他们去做深度的合作和定制。然后 macbook 的 话可能更多是跟一些中型或一些 startup, 他 们可能说提供一个 ip 的 一个 solution, 它可能不会根据你的模型去深度去定制一些硬件,但它可能会做一个量。 然后 brocco 呢,它好处就是可以帮他最大的客户去争取最大的产能,就是 koloss, kol, tsmc。 所以 说,呃,一直以来 tpu 都是跟 brocco 去做战略合作,也是,目前我不觉得会有很大的改变,但这样导致的一个不好的问题就是 brocco 的 溢价会越来越大,相当于你在中间 tpu 能赚的 margin 也会越来越少。是的,对,如果你非常依赖 brocco, 然后你没有一个 back up 的 话,就像有点像 tpu 和 tpu 的 关系。一直以来 tpu 是 呃 gpu 的 一个 back up, 也是有有益加权的考量在里面,所以如果你没有一个 back up 的 话,你你在成本上就很难控制的下来,所以我觉得这也是将来可以关注的一个点。所以谷歌它能直接跟 coos 这一块来溢价吗?决定的核心要素是什么 啊? coos 主要还是那个 hbm, 就是 我们的那个内存的一个封装,所以这样的话相当于我的理解是 brocon 是 一个中间的环节,它会把所有的东西全部 帮你铺设好,然后它交给 tsmc 去量产。所以我觉得第一你需要去拿到一个很高的很好的一个 hbm 的 一个一个 capacity, 再通过 brocon 去跟 tsmc 争取一个好的 coos。 我 听说现在整个 hbm 的 这个 capacity 被英伟达垄断了,基本上是垄断了。对, 因为刚才也提到嘛,因为 hbm 现在我们已经慢慢从 computer bound 变成 memory bound, 特别是像现在的 attention kernel, 它其实核心就是一个你怎么样去更快地从内存里把数据给搬运出来,因为它这个 kb caching, 它里面有很多数据的 一些搬运吧。未来几年的方向可能就是 hbn 能决定了你的上限,哈哈哈,如果你还缺,如果你买不到好的 hbn 的 话,那你的训练效率就会会大打折扣。所以博通的主要核心的作用是在这一块,博通主要的核心作用它是做很多的通信, 叫 i c i interchip connect, 然后它会做很多的后端,因为我们芯片的话,我们 t p u 团队主要设计它的前端,比如说我们相当于是把一张图纸给打印出来,然后 brocon 会把每个芯片与芯片之间物理上去连接起来哦,然后最后交付给 tsmc, 在 物理上去生产出来。 对 brocon 做更多是做一个信号的连接,怎么去布局这样一个拓扑的一个网络,所以 brocon 可能是在这一边,嗯,也是挺核心的一个环节,非常核心,而且是一个技术壁垒非常非常高的一个一个环节。 因为现在目前一旦信号里面有有问题的话,那整个机型就不能用了,所以这是一个你可以理解成脏活累活,但你也可以理解成,呃,这是一个非常非常之经验的,也是技术壁垒非常非常高的。因为 brion 他 们那边的话主要是一个一个复合的一个信号,我们 tpu 和 gpu 都是一个数字电路,但那个是一个 mix signal 是 一个一个模拟电路加数字电路,所以它对它对经营的要求会更高一些。就是如果我们用一句话来总结, 你觉得现在谷歌的 tpu 可以 挑战英伟达的在 gpu 的 垄断地位吗?或者说至少是我去阻挠一下这个英伟达在这个市场上绝对的定价权 没有绝对答案,但我的结论是,呃,在某些限定的条件下,如果一旦满足这些限定条件,我觉得 t p u 是 完全可以挑战 g p u 的。 限定条件就是一个大规模部署,因为 t p u 它主打就是走量。 如果说啊 tpu 它其实不太擅长做一件事情,就是它没办法针对一个单用户,比如说做 agent, 它就不太适合,因为它颜值会比较高一些啊,学推理信片也不行是吧?啊,现在的提升,但是它比起像 grok 比起,因为它的它的可塑性就没有那么的强, 所以它必须在一个非常大的一个吞吐量下,比如有很多很多用户同时去啊,去调用这个接口,很多很多用户同时去用 jimmy 拿货叉 gpt, 它才能把这个成本给分摊开来, 这样的话它能得到一个很好的一个吞吐量,所以在这种情况下大规模部署,然后模型相对比较稳定,它不需要很多的变动, 这样的话它的整体的成本就相比 gpu 有 很大的优势。那我的总结就是,当如果你的模型相对比较固定,不需要很多的改变,然后它的形态也是比较静态的形态。 tpu 是 非常适合去大规模部署的, 那比如说你已经训练好了一套模型,然后你只需要去做 inference tpu, 它的一个 system level 的 优化能力,软硬件协调能力能帮助你的这一套模型 能把成本控制在一个非常好的一个一个范围之内,这也是 tpu 的 最大的优势,但它有它的前提,就是它必须是一个非常大的用户在用,很多用户在用,它不太适合去做本地的部署, 然后它很适合在云上去用,很适合。比如说你 jamming 叉, gpt, 呃, cloud 这种,呃,这种,呃每天都有 millions of users, 这样的话它会把成本分摊给每个 user, 但如果它去做推理的话, 嗯,它的延迟会有多少?就是跟普通的这种 gpu 相关的这些 agent 来比。大家可以去看它官方的 documentation, 它的延迟做的也是非常非常不错的,但它没有写的,就是它需要有一个大用户,它我们内部会有一个 batch, 就是, 呃,你可以理解成有多少个 curious, 多少个 request, 你 如果每一秒你没有很多足够多的用户的话,它 t p u 没办法软件把它打包成一个很大的一个矩阵计算哦,然后就很好地去利用这个矩阵计算的那个计算密度。 如果你就你一个用户的话,那你的成本就会很高了,就是用户规模数越大,它对它反而越快。对,即使在推理上也是这样。对,就是如果你是一个非常小的这种创业公司,那大家可以用谷歌语音接入,然后我跟其他的就是 request 打包嘛, 因为 super 它其实有两个性能的指标,一个是吞吐量,就 super, 你 市面上比较讨论比较多,就 tokens per second 吧,嗯,每秒产产生多少个 tokens? 还有另外一个就是我们的那个尾部延迟,就 critical pass 的 那个 latency, 它可以保证一个非常快的响应速度,然后每一个 token 与 token 之间,它的 latency 都是非常非常低延迟的。所以我觉得这一块的话啊, tpu 是 不太适合去做这种非常非常快的响应速度, 但它可以适合做,就是它每秒产生一百个 token, 但是有些用户可能稍微慢一点点,然后有些用户快一点,它保证一个平均值, 这是他能做到的一件事情。谷歌的 gemini, 它是不是所有的模型全部是用 tpu 训的?还是它也会有加入 gpu v 七的发布,它基本上是说百分之一百是用 tpu, 但是在 v 七之前, gpu 一 直是 tpu 的 back up。 原因也很简单, xla 加 gx 是 一套非常复杂也非常不稳定的一套软件生态,它很多容,很多时候会容易去报错,一旦报错,它的特别是在 pre training, 它的风险是很大的。 到现在我觉得这套系统已经非常 steady 了,也非常成熟了。在之前不成熟的时候,你就需要用 gpu 来做 back up, 所以 之前一直是 gpu 和 tpu 混着混。用着训练并不意味着 tpu 训练效果没有 gpu 好, 只是意味着它的整个 system 它的稳定性还没有达到一个非常好的一个状态。 我听说现在谷歌内部的 jammin 就是 非常缺 tpu, 因为我有时候用它模型的时候,它会说这个请求过多,然后就挂了。对,这,这应该是没有卡是吧?对对,就是没有卡。 这个情况会持续多久,具体不是非常清楚,但是现在可能就是大家一下子,因为我也看到了大家用户很多都从早期比较迁移到 jammin 了嘛?对,满足这样的很大用户的一个 migration 的 话,确实硬件上需要小改造。 period 刚我们提到了,其实它是有独立的这个训练芯片跟独立的推理芯片的,嗯,哪个现在的量更大? 哈哈哈哈,对,是这样,就是对,我其实就是如果不说具体数据也没有关系,我其实是想给听众一个大概的印象,就是想让大家看一下这个训练跟推理他们各自的大概的一个比例跟综合情况是怎么样的。 airwood, 其实它是一款 主要针对 infune 推理芯片的一个性能上的一个优化的一个芯片,它当然可以做训练,但它里面很多的一些核心的黑科技是针对我们现在当下的一个推理推理的一个应用的市场, 所以它比起训练它要求的那些指标,呃, iov 的 更更多,是它要保证你一个低延迟,保证你一个大的吞吐量,保证你的 memory bandwidth 是 足够大的。这样的话你做 lm 特别带 dico 那 个环节,你不会被内存那边卡住, 所以说我觉得这也是一种信号,就是说谷歌觉得未来包括整个市场,我觉得未来对 infant 这个成长的潜力还是非常非常看好的。 但 pre training 也是非常重要的一个环节,因为谷歌作为少数几家做 frontier 大 模型的公司,他们一直以来他们的 philosophy 就是 我设计一款芯片,首先是要把 training 做好。综上我们所有所说的呀,我试着总结一下这个 tpu 跟 gpu 的 优势跟劣势, 就是整体来看,现在 tpu 它在性能上,包括在模型的训练上,就如果你用的好的话,你是可以把它跑满的,它可能会达到这个 gpu 的 性能,甚至是比它就是跑得更好。 呃,然后在数据中心的部署上,它是更省成本的,这个是它的一些核心优势,同时就是用了它你的推理成本可以降低。 那它的缺点就是首先我们说在这个软件的生态上, x、 l a 它还是一个比较难入门的这样的一个核心门槛,它没有英伟达的这个 呃库达它的这个生态。另外一点就是它在整个的体量上,包括对这个 h、 b、 m 它的供应链的控制上还是比较弱的。还有一个核心的问题,就是说 如果大家使用了 tpu, 但是你内部没有特别懂的人,它还是一个黑盒,就是你没有办法用自己的工程师去把它调优,然后把它的性能跑满,然后如果用谷歌云的话,可能只能跑到这个百分之 五十到百分之六十的性能,在这种情况下它跟 gpu 谁的性能更好?现在其实也是一个很难说的话题,所以整体上我们看到是这样的一个趋势。然后 呃 tpu 最大的核心的问题就是说,呃未来如果整个模型它在架构跟算法上有升级,它类似于一款专用的 ace 芯片,那通用的 gpu 是 更有优势的。但是如果你们的算法读对了,你们就是有核心优势的。嗯,我,我的总结准确吗?总结非常精确 那,呃,其实我们前面聊了这么多的 tpu 啊,就是你要不要跟大家再简单的回溯一下,就是谷歌它是怎么样去发明这个 tpu 的? 它的一个历史是什么?然后谁是中间的核心人物?对,我们最开始 tpu 的 话,主要是针对内部 cnn 遮挡模型的一个一个加速器, 然后最开始第一代芯片,它只是一款 inference 芯片,因为刚才我也提到就 inference 相比推理更好做一些,所以它 inference 相当于是一个 testing chip, 就作为一个入口。我们先把这个它里面的架构相对比较简单,它就是以矩阵计算器加内存,没有其他更多的一些模块。然后最开始的初衷就是大家发现,呃,我们内部有很多的 online recommendation system, 但它的 inference 都是用 cpu 来做 inference。 大家都知道 cpu 是 什么样的问题,就是对它的运行效果是非常非常差的, 然后那时候也没办法用 gpu, 因为既然那时候 gpu 它还没有加入它的那个矩阵计算单元,所以它更多是一个做显卡,做一个 pixel。 是 的,对,所以那那时候没有更好用的芯片啊。所以那谷歌说为什么我们不不自己开发一款只做矩阵计算的模型?所以最开始这就是最开始初衷。 呃呃,应该是 jeff dink, 包括后来土林奖的获得者。嗯, derek palston 也是深度参与了第一代模型的架构,所以设计出来性能非常非常的好。我们有了第二代芯片,第二代芯片它就是一个非常旗舰的做 啊,做 training, 做训练的模型,所以包括我们后来知道的 alpha go, 包括 palm, 包括 but, 包括早期的 early transformer, 包括后来 transformer, 都是用了这一套架构去做的训练。但那时候有一个比较大的问题,就是那时候我们先有了硬件,但是软件还没有跟上来。对,包括一直在 v 二 v 三 v 四的时候就一直痛点,就可能硬件上 理论上我们现在是不错,对,但是具体能部署多少,第一产量跟不上来,第二就是我们软件上 呃那个协同效应还没有产生。嗯,所以一直在在做这样的一个工作。中间我们也提出了这一个 system 的 一个 level 的 一个 tpu, 帕的一个一个一个拓布的一个网络,这也是砥砺了现在 tpu 那 么好的性能的一个基础。然后在第四代的时候,我们又针对 呃 recommendation 推荐和 ranking 的 一个算法,我们加入了一个 sportscore 稀疏式的计算单元,这也很好的解决骨骼内部的一些推荐的一些一些 work load。 所以 然后 v 五 v 六的话,就是开始进入大模型时代了,进入恰克 b t 时代, 所以我们那时候就会针对呃 transformer 做了做了很多很多的优化。然后一直到呃,我们中间还推出了一个 inference 的 版本,就是因为 inference 的 市场 需求非常非常大,直到现在的 v 七。 inference 的 版本是从什么时候开始的?应该是 v 六吧,我觉得呃 v 六 v 六对, v 六对,我觉得那时候在 t p 组里工作也挺有意思,就是最开始那几年其实市场上没有那么大的 需求,相当于那时候还没有大模型,没有下 g p t, 所以 我们那时候工作还相对比较轻松一点,因为只是针对自家的 work load, 所以感觉就是只要满足内部需求就可以了。对,你是从哪一年开始在 google 的? 我是从一八年吧,一八年到二二四二四。哇,那你基本上是完整的参与了好多代的 t p u 的 开发。最开始我做的是另外一个 project, 嗯,但我是从第第四代的时候加入第四代的,加入第五代的时候,那核心的几代你基本上都有参与。对对对,我不能说是核心几代,我只能说就是核心几代。核心的肯定是第一代和第二代,因为它们是奠基者,但后来我是可能经历了 从模型快速迭代那个周期,就你可以想象得出,就是最开始大家都在做训练,但一下子,哦,现在推理市场一下子变那么火,那我们要不要做另外一个版本的芯片啊?相当于 project 一 直在是一个非常 volatile, 一个非常变化非常非常快的一个状态下。关于整个 t p u。 它刚刚诞生的时候还有一些特别好玩的故事。当时 jeff dine, 它是谷歌的首席科学家嘛,然后它其实是在一次整个内部的演示中去演示,说深度学习网络它会 怎么样去在语音识别上有一个突破性的进展,就是二零一三年左右的时候,然后那个时候大家其实就发现我们需要的是 gpu, 而不是 cpu。 然后后来呢?就他们就开始在内部去 demo 这个事情。就是 jonathan rose, 现在应该也是呃, grog 的 一个,他应该是口方的,是吧? 现在已经是英伟达的 vp 了。对,现在是英伟达的 vp, 因为英伟达收购了 rock。 对, 他当时就给内部 demo 的 时候,他就是,他就放了两页 ppt, 第一页是就是诶,这个 gpu 它真的是工作了,这是好消息。 然后第二页就是,这是一个坏消息,我们付不起这个钱。对,就是他们当时是算了说成本。对,成本就是说如果所有的用户他们给谷歌发三分钟的语音的话,那么当时谷歌的整个的数据中心的成本会就是增加一倍,大概是数百亿美元,是非常大的一个量。 呃,这个其实也是他们就是开始去研究这个 tpu 的 一个起点。那。呃,接下来的故事好像就是到了整个一一五一六年,就那个阿发 go 击败对围棋冠军李世石的时候。 呃,这个时候其实谷歌已经在用 tpu 了,而且据说在他们的这个 ai 算法里面是放了四张 tpu 进去的。嗯,那个,那个应该是第一代、第二代,对不对啊?应该第二代和第三代吧。哦,第二代跟第三代对,第一代是不做 training 的。 嗯,对, 对。那比如说刚刚你提到了其实可能整个大模型出来以后,他是从这个第六代开始的,而且前面他有一些是服务于谷歌的整个的搜索跟广告推荐的这些算法。那第五代到第六代他相当于是一个巨大的方向上的转变。 对,我觉得方向上转变更多的就是,呃,你相当于你可以把重心根据 l m 现实中的 work load 去做一些调配,就其实理论上来讲就是 high level 上来讲就是你把你的呃计算资源需要变得更大。是,对, 因为之前可能没有这样的 case, 没有这样的 work case。 对, 软件团队是什么时候加入的?你说 xl a 那 边吗?对,他们从一开始就有这样的团队在。嗯,对,然后谁是这个 tpu 组的核心跟灵魂人物 啊?哈哈哈。对,我我,我觉得相比现在,我觉得软件团队的规模已经大超过硬件的规模了。嗯,对,因为软件组确实它现在目前这个生态中扮演一个非常重要的一个一个位置, 就是他不仅需要跟内部的人、内部的团队打交道,也需要跟外部的人打交道,所以我觉得现在软件组的话语权会更加重一些吧。嗯,你觉得软件更大重一些,那灵魂人物呢?就比如说 jeff dinn 在 推动这件事情,他他肯定是在就是支持跟推动早期。推动后期呢?后期的话,后期我觉得可能 啊,就,就我觉得现在肯定是 jeffin。 呃,包括 dma 那 边是一个深度的一个,你给理解成一个大脑吧,他决定的下一代 tpu 往哪个方向去发展,对,他们决定方向。对,嗯,具体的落实是啊, 落到应硬件组,嗯,就是落实是硬件组。对,硬件组。那我们刚刚其实提到了 jonathan rose, 我 们要不要讲一下 grog, 因为英伟达其实也是把它收购了,然后它在推理芯片端,我记得它最开始出来的时候,它的整个性能表现啊,然后包括它说的那些方案,在业界还是就是让很多人动心的。对对对, 我觉得就我当初也也跟他们内部团队人也聊过嘛,然后目前他们被英伟达收购是踩准了每一个时代的红利,踩准了每一个很好的时间点啊,第一个时间点就是 inference, 然后第二个时间点是 asic, 第三十一点就是今年是 agent 的 元年嘛,相当于有很多智能体的爆发,然后 growth 最好的一个应用 case 就是 agent 智能体,因为 agent 智能体的话,它对延迟的要求是非常非常高的,如果说你的延迟做的很差的话,你整个 帮你去做这一个任务的一个链条就会被拉到无现场,这是对于单用户来讲的话,是一个非常痛苦的一件事情,所以 grog 就是 能很好地去解决或者说解决这样的一个问题。 grog 的 芯片,因为 johnson ross 最开始是 tpu 的 compeller team, 它是 tpu compeller 那 边的一个类似于 founder, 就相当于它是带了一套它非常成熟的 tpu 的 那个 compiler x l a 的 一些经验去扣放了 grog。 所以 grog 可以 你可以理解成它是一家 compiler 的 公司,而不是一家芯片公司, 因为它的芯片更多是为它的软件 compiler 服务的,它的硬件可能比 tpu 更加的单一,或者说 啊没那么的智能一些。它的 compiler 在 某种程度上决定了一切,它 l p u 里面每一个时间点,每一个计算单元里面具体做哪些事情,它可以精准到每一个 cycle 啊,都是用 compiler 去确定好的一个非常确定性非常高的一个事情,你刚刚提到它们精准地踩到了每一个,就是 有时代的红利点啊。第一轮是 inference, 呃,第二轮是 asic, 第三轮是 agent, 这三个时间点对芯片的要求有什么不一样吗? inference 的 话,就是因为 grok 最开始它就主做 inference, 它不做 training, 它的软件和硬件的架构决定了它做不了 training。 第二个 asic 的 话,就相当于 asic, 它的成本更加可控一些,它是针对哪个方向的 asic, 它是针对低延迟的 ac, 呃,主要是做低延迟,低延迟,所以现在 agent 它我可以理解,比如说现在我们用 agent 觉得延迟很低了,它还是有硬件层面的提升的。对对,嗯,这就是我刚才讨论的就是那个吞吐量的问题。谷歌的 的它的 tcu 比较好的原因就是你有很多海量的客户同时去用这样一个 inference 服务,它的吞吐量就会很高,但它不在乎它的尾部延时。 尾部颜值指的就是你单用户用的话,它可能会有时候会快一点,有时候会慢一点,但相信大家也都会有这样的用户体验。但是 grok 你 一旦去用的话,它就会非常非常快,它的原理就是因为它第一是它的 sram, 它第二就是它是一个相当于你一个人,它 占用了非常非常多的 lpu 的 资源,而不是跟很多人去共享它。就这样一套逻辑, agent 跟 asic 的 区别又是什么?就我们再讲升到第三个逻辑, agent 当然跟 aic 没有很多的关联,但 agent 主要就是 grog 的 一个非常适合 grog 去服务的一个场景啊,这是他是服务的一些客户。 grog 服务,呃,适合 grog 去服务的场景,第一个是 agent, 第二是 real time 的 一些 voice, 然后还有一些一些高频的一些交易,他对颜值要求会更高一些。嗯,所以现在 grog 他的客户主要是以哪些客户为主?比如说像你刚刚提到的高频交易商,嗯,然, 然后还有直播,对吧?就是或者说跟大模型相关的这种实时的直播,大家可以去 google 一下 grog 最这一年它跟哪些人,哪些呃哪些厂家清了订单。呃一个它跟那个中东的一个一个数据中心, 然后另外它还跟 ibm, 它相当于是一个当地部署的一个计算机群,它只针对 本地人去用,相当于在你家搭了一个局域网的感觉,一个私有的一个云,然后你用起来会非常非常性能,非常非常高。所以他卖的是什么?就是你刚刚提到他是跟 ibm 签这种数据中心的合同,嗯,我开始以为他是卖给 agent 的, 就是它是卖芯片或者解决方案给这些 a 政策的创业公司的,但是它现在看起来它是在往这个上游去卖。具体细节我不是非常清楚啊,但我觉得它就是主打一个市场的差异化嘛,就现在主流市场都是做这种大模,呃大模型的推理和训练,它可能就是 针对一些啊小的规模部署的一些计算机群,做这样的一个低颜值的一个一个性能的优化。你觉得未来在整个 agent 的 应用中就是推理芯片,呃,它是会是一个百花齐放的格局,还是说它依然是以英伟达的 gpu 为主导的? 我觉得自从就是去年啊 deepsea 出来之后,大家一下子发现就是在推理端,就是如果你成本下来之打下来之后的话端测,然后呃本地的部署,它的推理的需求是非常非常大的,所以这样的话,我觉得就是有很多不同 layers 的 的市场和不同 layers 的 那个对的指标的需求。当然呃, google 和 tpu 肯定会占据最高层,就是最大规模那些部署的,包括运营啊,包括那些,呃大模型的推理,呃,然后中间和下面的一层的话,我觉得会有更多的玩家和更多的参与者进来, 然后这样的话相当于 grog 这块芯片,其实啊,它如果是一个非常大参数量的模型的话,它其实成本其实挺高的。我觉得对,如果说是一个小规模部署的话,它成本是可以控制的, 所以就是它未来就是整个芯片市场在推理端也会分层,然后分应用场景。对对对,可能最大量的需求还是这些大的巨头。 可能就是相当于你要是做做 startup 创业公司的话,你没办法说我要做下一家英伟达,你基本上做不到,因为它已经护城河实在太深太深了,你只能做一些。呃,伪端的一些客户, 很多人都在讨论 t p u 和 g p u 之间区别,我熟有熟略,但我觉得未来肯定是两者并存的,包括现在所有很多大厂都在自研自己家的芯片,不管是推理还是训练。我觉得 你不能说 gpu 将来会一统江山和 tpu 会一统江山,我觉得这个生态我觉得是一个非常健康的生态,有定制的环节,也有通用的环节,有通用场景,也有定制的场景,也有垂类的场景,所以我觉得将来的话是百花齐放的一个一个格局。 对,所以一旦产能、各方面供应链都解决问题之后,我觉得,对,一下子把成本下来之后的话, 你能做的事情就有无限的可能,大家都需要有一个人能出来打破垄断。对对对,我觉得目前 tpu 可能是一个很好的一个挑战者。是是是,对,然后我们看一下他这个身材到底能布局到什么样的一个阶段吧。嗯,如果他能把 一个软件生态也像库达一样搭起来的话,我觉得对库达和 gpu 也是一件好事情,也能,我觉得需要同行的激励和鞭策。而且我觉得其实今天这个话题可能有很多方的人都会关注,比如说从华尔街的视角,他们会非常关注未来整个股 谷歌的 tpu, 它能抢走这个英伟达多少的市场份额?嗯,这绝对是他们就是来去计算估值的这样的一个非常重要的点。对对,同时我觉得对很多的这种大模型厂商来说,呃,其实像,不仅仅是我们刚刚提到的 anselopik 跟 matta, 我 看像 xai 甚至是 openai 都表达出说未来可能会跟谷歌去进行 tpu 的 合作。 我觉得从模型厂商这可能也是他们怎么样去提高自己的模型的呃能力,同时降低自己数据中心的成本的一个非常重要的决策。那我们再往下就是细到这个 tpu, 它的整个的供应链环节,包括我们刚刚说到的这个 hbm, 包括叶冷, 然后包括数据中心,它的布局有什么不同?我觉得谷歌它的 tpu 的 位置未来会影响到很多的这个产业链中的各个小的环节跟厂商。对,所以还是很感谢 henry 今天来我们的这样一期播客,跟我们聊了很多的这个技术细节,我觉得对大家这个做决策会有很多的 参考价值,不构成投资金。对对对,那必须做一个声明啊,就是今天我们所有的观点应该都是你的个人言论,不代表公司观点。同时我们所有的这些呃言论也不构成任何的投资建议。对 对,这最后补充一点,就是啊,因为确实很多 tpu 的 布局都是发展在高层,就是它具体想把 tpu 打造成怎样的一款产品,我觉得啊,相当于底下工程师是了解是比较少的,所以我觉得我一直从我 我在 google 的 工作的经历当中去,包括和同事聊天的一些过程当中去了解一些只言片语吧,然后把它拼凑成一篇故事。 嗯,好的,谢谢 henry, 谢谢,谢谢,谢谢。好,那谢谢 henry。 感谢大家收听我们这期的播课,如果大家对 tpu 有 什么样的想法,可以给我们写评论,写留言,我是红军,感谢大家的收听。

抖音被拉黑后,还有办法看对方视频吗?好,现在这两个是正常的好友关系。拉黑之前是可以进入对方的主页的,就是可以看到他的作品,现在我们直接把他给拉黑,右上角三个点,然后这边有一个拉黑,确认拉黑 好,我们再重新返回,然后进入他的主页,拉黑过后对方的主页是这样的,那么还有什么办法能够看到他主页的视频呢?我们先返回进入抖音设置, 然后往下边翻最下边一项退出登录退出。 好,现在我们点击右上角的放大镜,搜索一下对方的昵称,当然如果是抖音号更好, 好,又能看到他的作品了,我们点击进去就是这么简单,有这方面困扰的朋友可以去试一下。

一间车库,一套创新解锁算法,两个在校大学生,铸就如今全球顶尖的科技巨头谷歌。大家好,我是以往万年一只熊。拉利佩奇与谢尔盖布林在斯坦福大学求学期间,研发出全新网页排序算法。 一九九八年,两人租用车库,正式创立谷歌。比时门户网站盛行主流搜索引擎,算法简陋,广告混杂, 谷歌依靠更加精准客观的搜索结果,迅速脱颖而出。站稳搜索赛道之后,谷歌持续向外拓展,收购安卓系统,布局移动终端, 持续深耕人工智能,不断拓展前沿科技边界。谷歌的发展历程告诉我们,真正长久的企业,永远把底层技术创新放在首位, 依靠核心技术建立壁垒,才有持续扩张的底气。通信行业同样迎来改革窗口,传统铜线局域网存在先天短板,光纤到桌面 c n f t t t 全光网络 一脱光传输底层优势,代表局往未来发展方向,坚守技术创新,深耕长期赛道时间终将给予回报。对光纤到桌面方案感兴趣的朋友,欢迎私信交流!

大家都在说的 tpu 到底是啥? tpus? tpus? tpus? a lot of people are pointing to their tpus。 它真的就是谷歌的秘密武器吗? 我们呢,主要要搞清楚啊,两个问题,第一问题呢,就是啊,谷歌生产的 tpu 芯片和英伟达的 gpu 芯片有什么不同?第二问题呢,就是谷歌为什么只产不卖它的 tpu 芯片?先说第一个问题啊,那谷歌呢,最新推出的 tpu 芯片呢,叫做 iron boot, 而英伟达现在最强大的芯片呢,是它的 blackwell b 两百,纯一比一的看性能呢 b 两百,很多性能指标都完胜 iron boot, 谷歌做的很棒, 我们真的替他们高兴,但是英伟达的技术还是领先整个行业一大截,那为什么呢,谷歌要花了十二年的时间去搞出一个处处不如别人的产品呢? 这里啊,就要说到呢, tpu 和 gpu 的 一个核心区别,这个 gpu 啊,是一个触底的了图像啊,做的了运算的全才,但这个 tpu 呢,则是一个只会做运算的天才,但它的运算呢,做的可以更便宜,更高效。因为啊, tpu 靠的不是个体强大,而是呢,集体作战神勇。 那像呢,呃, tpu 芯片呢,每个都很强,但是呢,芯片和芯片间的交流啊,一直都是它的瓶颈。而谷歌的 tpu 架构呢,可以让九千多个 tpu 芯片形成一个呢超级大脑,或者专业点说一个大怕的去进行运算, 因为他不需要呢,不停和每个芯片间呢去接受信息或者去发号指令。而是呢,大家呢,都可以知道自己要干嘛,信息自然传递,就像心跳一样,一下接一下。所以啊,这个架构呢,被叫做 s t l a 架构,而这个 s t l a 呢,原意就指的是心脏的收缩, 再加上他们用的数据格式轻便啊,还有呢超快的芯片间连接等啊,这个谷歌号是用这一套组合权呢,可以把呢 美瓦特的运算效率呢提高到原来的两倍。听到这,大家是不是感受到了,这绝对就是为 ai 运算而打造的呀,那现在这个年代,这个用电效率实在是变得越来越重要啊。那所以回答第一个问题,他们的核心区别就是 tpu 更专注的做高效的 ai 运算。 好了,第二问题又来了,那既然这么好,为什么谷歌只产不卖自己的芯片呢?现在呢,大家抢芯片啊,这个底层逻辑呢,其实是抢算力,说这个算力生意呢,谷歌想要贴的呢,是卖他的云浮,而不是能卖他的芯片,所以他所有生产的 i o o o 的 芯片呢,都是特供自己的云浮, 可以帮自己呢去降低了云浮的价格,提高效率,同时还能获得更大的利润空间。所以啊,谷歌呢,要挣的就不是这个硬件的钱,而是长期的服务费,同时呢,这样的布局呢,还有利于他去搭建自己的 ai 生态。 所以啊,他要挑战的可不光是呢英伟达这样的芯片公司,而是呢,包括亚马逊在内,这个所有吃云饭碗的企业啊, 那它这样的布局呢,也会有它一些局限性,那包括呢,它的应用场景过于单一,过于依赖呢? ai 产业的繁荣啊。说到这,你怎么看 tpu 的 未来和前景呢?记得关注我,和我一起用商业视角破解世界变化。