粉丝1227获赞8080

sent by cuny yes that's crusty i think i sent by yet i know hell may take without lie。 啊啊 啊啊! 我宁愿幸福一败弄,因为这个在啊。



before that was kuda kuda kuda well, it's called k。 手握库大生态的英伟达呢,已经快把显卡和 gpu 计算啊这门给 ai 卖铲子的生意给垄断了。 之前行业里呢,形成了一种共识啊,想要真正发挥显卡的性能啊,基本呢,绕不开库大。比如说啊, deepsea 早年的几个版本啊,就是因为榨干了 gpu 的 性能啊,受到了追捧。但其实啊,你们现在所看到的这些呢,都只是表面 现象,实际情况呢,哎,却是随着 ai 推理越来越复杂,库达加 gpu 这套老组合呢,开始显得有点吃力了,以至于英伟达新的 gpu 编程语言啊,居然要反过来向中国取经了。 那事情是这样子的啊,前阵子呢,英伟达突然推出了一个叫做库达泰奥的 gpu 编程语言,直接让圈里的人炸锅了啊。 因为呢,这是二零零六年扩大发布和二零一四年推广 c u d n n 以来啊,英伟大第一次主动降低 g p u 编程的门槛。但如果把时间线再往前拉一点呢,你会发现,早在二零二五年的一月,就已经有中国团队在跟 tab 上面开源了一个 g p u 编程语言 talent, 它的整体思路呢,和后面英伟达推出的库达 tyo 啊,非常之相似啊。并且呢,前段时间 deepsea 发布 v 三点二的时候啊,真的同步发布了两个版本啊,一个是库达语言构建的版本,那另外一个就是 tyo 语言构建的版本。 曾经啊, deepsea 只发布库达语言构建的版本啊,甚至呢,为了榨干硬件的算力,不少代码呢,用的还是英伟达专有的这个 ptx 汇编语言,导致呢,过往 deepsea 的 模型与老黄的预算卡呢,深度绑定了, 但是啊,中国团队开发的这个 tellyn 编程语言呢,不挑运算卡,所以呢, deepsea v 三点二可以很轻松地部署在华为、深腾等国产运算平台上面。 所以呢,事情开始变得有意思起来了啊,由于 tellyn 发布,然后 deepsea v 三点二使用了 tellyn 啊,酷到 tel 发布这几个事儿前后脚挨着。然后网上呢,就流传了一种说法啊,说老黄是感受到了国内厂商的威胁了,这才开始抄作业了。 那么真相到底是不是这样呢啊,一个 gpu 编程模型就能动摇英伟达的根基了吗? 这事呢,还得从库大开始说起啊。在库大出现之前呢, gpu 的 定位严格来说只是 图形处理器,也就是哎,给咱们游戏玩家们渲染游戏画面用的。但可别小看画图这件事啊,因为它涉及到一个非常重要的工作机制, s i m t。 单指令多县城,也就是呢, g p u 把一大堆县城打包,让他们同时执行同一条指令。就拿 f p s。 游戏举例啊,当对面朝你扔一颗闪光弹的时候, g p u。 干的活呢?很简单,对着屏幕上几百万个像素重复同 同一套操作啊,算亮度,填颜色,让画面瞬间变得晃眼啊,你可以把每个像素的着色都理解成一次现成任务,那本质上啊,这是 g p u 把一个大问题拆成很多互相独立的小问题,并且呢,在同一时间完成计算。 所以呢,很快就有人发现啊, s i m t。 的 这套逻辑呢,只用来打游戏,哎,好像有点可惜了,它其实特别适合做并行 计算。那后面的故事呢,大家就都知道了,老黄看到了 gpu 在 通用计算方面的潜力。二零零六年,英伟达推出了库达,给程序员提供控制 gpu 的 编程工具和 api 接口,让 gpu 可以 直接跑并行计算。那我前面说的 gpu 编程呢,其实就是按照 s i m t。 单命令多线程的逻辑, 写机器能看懂的代码。最终,库大生态逐渐成了英伟达的护城河,甚至从某种意义上说,是库大让老黄掌握了显卡的定价权。但我身边熟悉 g p u。 编程的人啊,最近几年呢,基本都在吐槽 搞一件事哭的啊,好像有点跟不上 ai 时代的节奏了。那为啥这么说呢?因为在图形渲染和通用计算的时代呢,交给 gpu 来处理的工作都是流水线,作业任务单一步骤固定,数量还多。那 gpu 擅长的正是这种规则,完全一样的事,同时做成千上万遍。 到了 ai 时代啊,天塌了。因为 ai 推演呢,不像渲染那样,一眼就知道接下来要干啥,而是要摸着石头过河。而后面的计算呢,往往得等到前一步的结果出来才能决定。 问题在于, s i m t。 这套底层机制呢,一点没变。而 g p u。 还是那套老习惯,一组县城必须听同一条指令,按同一个节奏往前走, 所以就容易出现这种情况。而一辆公交车中,有一部分人想在 a 点下车,而另一部分的人呢,就得等 a 点的人下完了,才能前往 b 点, s i m t。 呢,就很难发挥它的全部价值, gpu 的 效率呢,就被浪费了。在 gpu 编程领域啊,这种现象呢,有一个明确的名字,分支发散。 而且呢,还有一个更现实的问题啊,在 ai 推理中呢,很多运算的中间结果啊,会被反复使用,但库大的执行模型啊,并不关心数据复用,而一轮现成执行结束啊,结果呢,就会被写回全区内存。 所以啊,库大编程语言啊,被吐槽难写,跟不上。时代就在于,写代码的人呢,不光要懂算法,还要把现成的组织架构和分工排得明白, 哪些县城负责搬数据哎,哪些县城负责计算和数据赋用,什么时候同步,全部都要程序员首搓完成,搞不好呢,就会造成 gpu 的 效率打折扣。其实呢,英伟达很早也意识到了酷达对 ai 不 友好啊,所以呢,在二零一四年的时候呢,老黄又端出来一个叫做 c u、 d n、 n 的 玩意儿, 哎,他的思路呢,非常直接了啊,既然很多 ai 算子大家用酷达从头写呢,既复杂又容易出错,那我黄师傅干脆先做一步,让英伟达的工程师们把 ai 模型里最常用的几种计算啊,比如卷积、矩阵乘啊,全部提前写好,再封装成可以直接调用的高性能计算 api 啊,岂不美哉?那换句话说, c u、 d、 n、 n 就是 主流视觉模型和大语言模型的工业预制菜,程序员呢,只管点菜, g p u 内部怎么跑? c u d n n 自己处理。 所以呢, c u d n n 的 缺点也很明显啊, ai 研究员永远只能点菜单上的菜啊,一旦模型里出现了新的算子,对于 c u d n、 n 来说呢,考题就超纲了啊。这个时候啊,研究员和程序员们还是要回到扩大,要重新和现存内存同步这些底层细节打交道。 而 tail land 的 出现呢,改变的正是这一点啊,它并不是再多做一份预制菜,而是直接把原来程序员要干的那一大堆调度杂活啊,现成怎么分啊?数据怎么复用,什么时候同步全部接了过去。 开发者呢,只需要告诉 tyler 想做什么计算,用哪些数据怎么算。至于这些计算怎么映射到具体的 gpu 硬件和现成上呢啊,通通就交给翻译器去完成了啊。结果呢,就是,即便是 c u d n n 没覆盖的新算子啊,程序员也不必再回到手写库大的这个老路上了。 哎,是的,类似的事呢,已经在计算机编程的历史上发生过一次了啊,会编,进化到 c c, 进化到高级语言,兜兜转转几十年呢,这股风终于因为 ai 吹到了 gpu 编程领域。 那根据官方的势力啊,在一些算子开发中, terlend 可以 把库大 c 加加的代码量从五百多行压缩到约八十行,同时呢,性能提升大约百分之三十。过去又累又慢的 gpu 编程呢,这一次在开发效率和运行性能上都吃到了 terlend 带来的红利。 更关键的是啊,太欧莱这类工具呢,其实进一步验证了一件事情,只要编程语言能把计算逻辑表达清楚,编义器足够聪明啊,不用手写库大这种底层代码, gpu 同样可以运行的很高效。 在太欧莱这种高级语言的模式下啊,底层是英伟达的库大还是 amd 的 r o c m 运行的算力卡是哪家的?至少对开发者来说呢,已经没那么关键了。 事情发展到这里啊,英伟达显然不可能无动于衷。所以呢,去年十二月亲自下场推出了酷达 tile, 你 可以大致理解为英伟达官方版本的 tile land。 这个动作传递的信号啊,非常明确。与其让开发者依赖第三方工具来重新定义 gpu 的 使用方式,不如英伟达自己把这条路给接管过来。 作为英伟达的第一方 gpu 语言啊,库达 tao 呢,掌握着最短最直接的优化路径,在可预见的未来呢,如果想在英伟达 gpu 上榨干每一分性能,那库达 tao 大 概率会是最省事 也最稳妥的选择。但要说库达 tao 一 出来啊, tao len 就 没戏了。哎,那也不至于因为库达 tao 再强呢,也有一个前提,这家 ai 研究机构打算一直用老黄的显卡。是的,在我看来呢,这其实是 tao len 最大的家 啊,他不被任何一家硬件厂商绑定。那过去大家买显卡啊,关注的是哎,这张卡的扩大生态成不成熟,写编程时的现成工具他多不多?但当 taiwan 这种哎高级 gpu 语言越来越常用之后呢,问题可能会变成,这家厂商对 taiwan 的 支持做的怎么样? 无论是 amd 的 gpu, 谷歌的 tpu, 还是国产 ai 芯片,只要 tigerland 能把同一套算子描述稳定射到不同的硬件平台上,那么到时候啊,开发者想换平台啊,就不用把模型和算子彻底推倒重写。 相当于呢,所有训练模型的人不再绑死在库大上啊,拥有了自己挑铲子的能力。那类似的故事啊,我们并不是第一次见到啊。游戏市场里呢, directx 十二它已经和 windows 深度绑定了, 可以在 windows 平台上性能发挥到极致。而工具链和优化经验呢,也非常成熟。但这并没有阻止 vulkan 这样子更开放更跨平台的技术逐步分走开发者的身量和生态位置。 开发者用脚投票的结果呢,已经证明了性能并不是唯一标准。开发者为了不被单一厂商的技术路线卡脖子,有时候也会主动选择更开放的技术路线。好,那么以上呢,就是差评监督,我是二狗, see you next time。