这两天, kimi 那 篇叫注意力残差的论文啊,彻底火出了,全一个十七岁的高二学生拿下了共同一作。不仅震撼了国内啊,连马斯克和 oppo ai 的 创始人大佬都在推特上是疯狂点赞。但如果你以为这只是一次属于天才少年的高光时刻啊,那你就低估了这番大棋了。 这篇论文真正的威力,是,他凭空给中国 ai 企业印出了上万张英伟达的显卡。咱们来算一笔算力账啊! 以前搞大模型就像盖楼,越往上盖,底层的信息就越模糊。过去的办法是死记硬背,每一层都把前面的数据全背在身上。楼盖的越高,预算就越臃肿,只能靠砸算力堆显卡来强行弥补,这就叫大力出奇迹。 但 kimi 这次的注意力残差是什么意思呢?相当于给高楼里的每一层都装上了智能记忆,它不再死记硬背每一段废话了,而 是需要什么关键信息,就直接回头去底层的楼层里精准抽取,该记的记,没用的丢。结果就是啊,同等性能下,训练效率直接暴涨了百分之二十五,算力成本节省了整整百分之二十。你看啊, 在今天,老美恨不得把高端芯片都给掐的死死的。硅谷巨头也在为了电费焦头烂额的时候,省下百分之二十的算力,就等于手里免费多出了一点二五倍的战力资产。很多人问啊,推翻 transform 十年组织的为什么不是 openai, 不是 股 哥,偏偏是一家中国公司?真相很残酷,但也很热血。因为硅谷巨头都有算力的富贵病,手里握着无数张顶级显卡,遇到瓶颈就加机器加电,简单粗暴,但咱们买不到满血的芯片算力,要被卡脖子,只能被逼着去死磕最底层的数学公式, 去把现有的硬件每一滴性能给榨干。当年华为面对芯片绝境时候的突围也是一样,单颗芯片的制程被卡死,人家直接重写底层的软硬协调和集训优化,硬生生补 习了物理硬件的短板。现在美国的芯片封锁不仅没能锁死中国 ai, 反而逼着我们跳出了暴力算力,抗出了一条极致效率的架构突围之路啊。
粉丝3.9万获赞134.8万


随着月知案面 moonshot ai 的 kimi 智能助手成为 ai 应用落地的标杆,其产业链相关 a 股公司迎来价值重估。在众多关联方中,两类企业尤为值得关注。 一类是与 kimi 形成业务加资本双重绑定的核心伙伴九安医疗通过参股利斯资本界持有月知案面股份,是 a 股稀缺的投资者,直接受益于 kimi 的 估值提升。申信福则通过旗下琥珀资本参与了月知案面的融资, 强化了双方在安全领域的协调潜力。另一类是深度接入 kimi 技术的应用层,龙头掌阅科技将 kimi 大 模型融入数字阅读场景,推出 ai 阅读功能, 与其海量内容资源高度契合。华策影视则利用 kimi 优化剧本创作与视频剪辑,推动影视制作流程革新。这些公司凭借明确的合作逻辑,有望在 ai 应用爆发期抢占先机。
