kimi会把数据拿去训练吗

这两天， kimi 那 篇叫注意力残差的论文啊，彻底火出了，全一个十七岁的高二学生拿下了共同一作。不仅震撼了国内啊，连马斯克和 oppo ai 的 创始人大佬都在推特上是疯狂点赞。但如果你以为这只是一次属于天才少年的高光时刻啊，那你就低估了这番大棋了。 这篇论文真正的威力，是，他凭空给中国 ai 企业印出了上万张英伟达的显卡。咱们来算一笔算力账啊！ 以前搞大模型就像盖楼，越往上盖，底层的信息就越模糊。过去的办法是死记硬背，每一层都把前面的数据全背在身上。楼盖的越高，预算就越臃肿，只能靠砸算力堆显卡来强行弥补，这就叫大力出奇迹。 但 kimi 这次的注意力残差是什么意思呢？相当于给高楼里的每一层都装上了智能记忆，它不再死记硬背每一段废话了，而 是需要什么关键信息，就直接回头去底层的楼层里精准抽取，该记的记，没用的丢。结果就是啊，同等性能下，训练效率直接暴涨了百分之二十五，算力成本节省了整整百分之二十。你看啊， 在今天，老美恨不得把高端芯片都给掐的死死的。硅谷巨头也在为了电费焦头烂额的时候，省下百分之二十的算力，就等于手里免费多出了一点二五倍的战力资产。很多人问啊，推翻 transform 十年组织的为什么不是 openai， 不是 股 哥，偏偏是一家中国公司？真相很残酷，但也很热血。因为硅谷巨头都有算力的富贵病，手里握着无数张顶级显卡，遇到瓶颈就加机器加电，简单粗暴，但咱们买不到满血的芯片算力，要被卡脖子，只能被逼着去死磕最底层的数学公式， 去把现有的硬件每一滴性能给榨干。当年华为面对芯片绝境时候的突围也是一样，单颗芯片的制程被卡死，人家直接重写底层的软硬协调和集训优化，硬生生补 习了物理硬件的短板。现在美国的芯片封锁不仅没能锁死中国 ai， 反而逼着我们跳出了暴力算力，抗出了一条极致效率的架构突围之路啊。