在人工智能技术飞速发展的当下,以大语言模型为代表的深度学习算法正经历着参数规模的指数级膨胀,从千亿参数跨越至万亿参数的进程中。 ai 模型的训练与推理对底层基础设施提出了史无前例的海量数据吞吐需求, 这种需求直接催生了以 gpu 和专用加速芯片为核心的高性能计算集群的爆炸式增长。但是,单点计算能力的提升仅仅是算力方程的一部分,决定庞大集群整体并行计算效率的绝对木桶短板已经悄然转移到了计算节点之间的数据交互能力上, 也就是互联带宽。在传统数据中心架构里,基于高频附铜板和铜缆的电信号传输,长期主导了从芯片到芯片、服务器到服务器的互联网络。但是,二零二五年开始,这道用了四十年的工艺撞墙了, 而且是几乎难以逾越的物理障碍。在这一背景下,光进同退不再仅仅是长途电信骨干网络的宏大趋势,它正在以前所未有的速度和深度下沉到数据中心内部, 甚至渗透到半导体芯片的封装层级。在现代 ai 产业链中,光的存在意义早已超越了单纯的速率提升,它是打破数据中心功耗墙和处理器内存墙的唯一可行物理路径。大家好,这里是星图实验室。今天这期视频我们要做的事就一件, 沿着 gpu 计算机群的整条数据链路,从机柜内部一直走到芯片封装,把这场正在发生的以光子取代电子的算力互联革命彻底讲透。我们先建立一个直观的认识,一颗英伟达 blackwell gpu f p 四,算力二十 peta flops, 功耗一千两百瓦。一颗 gpu 本身已经是一个工程奇迹,但你拿一颗 gpu 训练不了 gpt 五,也部署不了 cloud opens。 现实是 gpt 四级别的训练需要两万张 gpu 规模的集训。 gpt 五 james ultra 这一代起步是十万张 openli 的 星际之门项目, xai 的 colossus 二 metah 的 hyperion, 全部规划在五十万张到一百万张 gpu 的 量级。 把一颗 gpu 变成十万颗 gpu 的 协同计算。这个工程上最难的事是什么?不是 gpu 本身, 是数据,怎么从一颗芯片搬到另一颗芯片?当你把一个模型分布到一万颗 gpu 上的时候,每一次反向传播之后,这些 gpu 必须把各自算出来的梯度同步一次。如果只有百分之一的 gpu 在 等数据,理论上整体效率就会损失百分之一。听起来不多, 但实际情况是,一万张卡的训练集群,宽带利用率从一百 g b p s。 提升到四百 g b p s。 实际训练时间可能不是缩短四分之三,而是缩短一半。从四百 g b p s 提升到八百 g b p s。 边际收益继续衰减。但是一旦宽带不够, gpu 闲置率就会暴涨, 这叫 o reduced 伪延迟效应。英伟达官方批路过一个数字,在 gpt 三点五规模的训练集群里, gpu 真实在做 flops 计算的时间大概只占百分之二十五到百分之三十, 剩下百分之七十以上的时间在干什么?在等数据,这就是整个 ai 算力工业最大的浪费。一千亿美元的 gpu, 大 部分时间在等待宽, 而宽带本质上就是信号能不能足够快的,足够远的在芯片之间传过去。现代 ai 数据中心的数据流大概分三层,第一层叫 scale up, 机柜内部一台 n v l 七二机柜里塞了七十二颗 blackwell gpu, 它们之间靠英伟达的 nvlink 互联。这一层要求是极低延迟、极高带宽、极短距离距离通常在两到三米以内。第二层叫 scaleout, 机柜之间 把几千个机柜连成一个 pod, 几个 pod 连成整个数据中心。这一层用的是 infinite 或者 internet, 距离从几米到几十米,待宽要求依然极高,但允许的延迟略宽。第三层叫 longreach, 数据中心之间 ai 训练集群越来越大,单个数据中心装不下了, 微软、谷歌、 metac 都在建跨数据中心训练几公里到几十公里。这层的瓶颈又不一样,是相干光通信、超长距离、色散补偿。 这三层互联过去几十年的眼界逻辑非常清晰,能用铜就用铜,实在用不了铜才用光。 原因很简单,铜便宜,成熟好用。但是现在铜在每一层都开始扛不住了。铜为什么不行了?用一个最简单的事实就能说清楚,数据传输速度越高,铜线能跑的距离越短,不是慢一点,是断崖式的短。 十年前主流的二十五 gb 每秒,一根铜缆能跑五到七米没问题。到了一百一十二 gb 每秒,也就是英伟达 hopper 那 一代撑两到三米,再到两百二十四 gb 每秒,也就是 blackwell 和 vera rubin 底下的速率。一根铜缆撑死一米, 一米是什么概念?一台 ai 机柜内部的距离起步就是两米,机柜之间几米,数据中心走线动辊几十米,这是物理灯绿的问题。 频率高到一定程度,电流只在铜线表面流动,信号还没传到对面就被吃光了。要在接收端用 dsp 把损耗硬揪回来,代价是功耗指数级飙升。揪得越多,烧得越热,信号噪声越大,又得揪更多。这是一个进入死循环的过程。 整个行业到了两百二十四 gps 这一带,得出的结论是一致的,铜到这就该退场了。但用光代价也不小, 光纤本身不贵,但把电变成光,再把光变回电的那颗光模块极其耗电。黄仁勋在 gtc 上算过一笔账,每一颗 ai gpu 需要六颗光模块,合计一百八十瓦功耗六千美元成本,把这个数字乘以一百万颗 gpu, 光是传数据这一项就要烧掉一百八十兆瓦电,差不多是一座中型城市的全部用电。 所以问题不只是铜不行,要换光是传统的可插拔光模块,这种用法在百万卡的集群规模下,从工耗到成本也已经撑不住了,整个互联架构需要从根上重做。 这就是后面我们要讲的 c p o 供风装光学真正的起点。如果你喜欢这种深度科技财经内容,这里是星图实验室,我们下期再见。
粉丝2.6万获赞5.8万

曾世强曾预言未来会缺水,很多人以为缺水是因为工业、农业人口增长,但你有没有想过, 你每天问 ai 的 几十个问题,也在悄悄的喝掉地球的水?大家总以为 ai 能改变工作和生活,可他最先掠夺的是农田与水源。西班牙的农民举起标语,你的云正在晒干我的河。 抵制亚马逊 ai 数据中心,该中心每年消耗七十五万平方米,足够灌两百三十三公顷的玉米地。这里谷歌的机房每天耗水四百五十万升,等同一个小镇的用水量。 一次 gbt 三的模型完整训练要消耗七百吨的单水。你每提问五到五十次,背后就有五百毫升的水被蒸发掉。而那些大模型数据中心,偏偏喜欢建在水质源紧张的农业区, 他们喝掉农业的水,算着世界的题去将干涸留给了土地。我们总在讨论 ai 取代岗位,却忽略了他正在掠夺生存的根本,这是真正值得被关注的。

国产大模型越来越多,但训练他们的算力从哪来?你有没有想过一个问题,国内大模型已经超过三百个,每隔几天就有新模型发布,那这些算力到底从哪来的?先说一个基本概念,训练一个大模型需要什么?大量的 gpu, 大 量的时间, 大量的电力,训练 gpd 三这个级别的模型,据计算大概需要几百块 a, 一 百跑好几个月。国内头部大模型的训练成本动辄几千万到几个亿人民币。那这些算力 有四个来源,第一个来源,大厂自建自结,阿里、百度,这些公司有钱有资源,自己建数据中心,自己买 gpu 集群, 但这条路只有极少数公司走得起。第二个来源,公有云,租用中小型 ai 公司训练模型,大部分租的是阿里云、腾讯云、华为云的 gpu 实力,但高端 gpu 的 供应依然紧张,很多时候有钱也抢不到资源。第三个来源, 垂直算力平台。除了大场云,市场上还有很多专注算力服务的垂直平台,算力资源更集中,价格更灵活,能提供大场云之外的算力补充。第四个来源,国产算力替代华为、升腾、韩五 g 等国产 g p u 在 政策支持下快速落地,部分模型训练已经在国产芯片上跑通, 这条路还在快速成熟中。训练算力的需求在持续增长,谁能稳定供给算力,谁能保障交付质量,谁就有足够的溢价权。你觉得国产算力能不能在三年内真正替代英伟达的位置?说说你的判断。

上期说大模型最出名的叫 gpt, 那 gpt 到底是什么?这三个字母每一个都有讲究。 g 是 generative 深沉, p 是 pre trained 预训练, t 是 transformer, 一 种神经网络架构。 这个架构是二零一七年八个谷歌科学家发明的论文名字叫注意力,就是你需要的一切。这篇论文成了 ai 历史上引用最多的论文之一。没有它,就没有今天所有的大模型。 有意思的是,谷歌发明了 transformer, 但抢先用它做出爆款的是 openai。 二零二二年十一月三十日, chat, gpt 上线五天,用户破百万,二个月破一亿,这是历史上增长最快的消费级 app。 instagram 用了两年半, tiktok 用了九个月 gpt, 怎么从 gpt 一 涨到 gpt 五的?二零一八年, gpt 一 只有一点一七亿残数。二零二零年, gpt 三就到了一千七百五十亿。二零二三年, gpt 四估计接近二万亿, 每一代都在指数级膨胀。到了二零二五年八月, gpt 五上线,第一次内置了路由器,简单问题用快模型,难题自动切换到推理模型。 那 gpt 到底怎么工作的?说白了就是一个超级文字接龙游戏。你给他前面几个字,他预测下一个最可能的字,一个字接一个字,看起来就像在写文章。但这就是他最大的弱点。 openai 自己二零二五年的论文,承认 gpt 不是 知道答案,他是在猜, 猜错了就叫 ai 幻觉。 gpt 四的幻觉率是百分之十二点九,到 gpt 五降到百分之九点六,但还是会一本正经地胡说。那 gpt 为什么这么准?因为它被训练过,而且训练量大到夸张。 gpt 是 怎么训出来的?下期揭秘关注不错过。

为什么模型越大越烧钱?咱们平时用的 chat、 gpt、 豆包或者 deepseek 回答你的一个问题,背后就要烧掉多少电费? 答案是很多,因为大模型训练就是算力的吞金兽。例如 gpt 四,每训练一次就要用掉二点五万张 gpu, 耗时数、夜电费加上芯片的成本就超过了一亿美元。这就是为什么说 ai 行业有一个残酷的定律,模型越大效果越好, 但需要的算力呈指数级增长。这就引出了两关关键概念,训练,算力和推理。算力训练就是教育学生 需要海量的数据反复调教吃性能,而推理则是学生在考试。用户每一次提问都是在消耗推理算力吃规模。现在行业都在减什么呢?减算力效率,用更少的卡训,更好的模型量化技术, 混合精度分布式训练。这些黑科技终极目标只有一个,让算力更便宜、更普惠!因为算力普惠化才是我们 ai 用户真正的福利。

两个问题,一、力量训练应该如何更好的递增重量?二、什么是力量训练?首先,力量训练区别于你们的瑜伽普拉提跳操,跟着直播间跳力量操这些他有一个核心的要素就是剑经超负荷。说大白话就是你要给你的肌肉 持续的刺激,就这次要比上一次要略大一点,最好大到他快受不了了,但是,哎,刚刚好能够支撑你完成这场训练,你这个肌肉他才会长,你的线条他才会出来。满足渐进超负荷最简单的标准就是重量递增,假如你这周用五公斤做了十次的深蹲,哎,这就对, 对于你的水平呢,就很标准,很刚刚好了。但你通过努力在下周或者下下周,哎,你用五点五公斤,或者你用六公斤完了十次标准的深蹲,感觉和上次差不多,那你想感觉差不多,你的重量反而递增了,你的肌肉他能不长吗? 这就叫做剑境超负荷,你的重量是需要慢慢递增的,反过来,你拿一点五公斤的弧形划船,划船了一年两年,跟着直播间始终就是这些重量去跳槽, 你的变化呀,他是特别小的,这个最多叫做什么?有氧耐力训练,也就是力量操,可以让我们的心率加快,也可以让我们体表微微出汗,但他不是力量训练,那么瑜伽普拉提也一样,他们练的是柔韧性,练的是核心控制运动是非常棒的,但绝对不满足渐进超负荷,所以他不是力量训 练。其次,那到底该怎么循序渐进的递增重量呢?你的目标如果是塑形,并且还是女性的话,不是想要那种大胳膊大粗腿的,只记住一个简单的操作标准, 你这个重量能完成十到十五次,最后两次有点费劲。下肢,你记住一个标准,你这个重量呀,你只能完成八到十二次,最后两次有点费劲。你肯定听过很多人会建议你们无论上下肢都做八到十二次, 但我推荐啊,女生要是塑形前三个月的话,上肢做到十到十五次。因为女生刚开始训练,你们的肌肉记忆对于男生的养成是特别特别慢的,而且你在学动作,我们需要不断的去重复,加深我们的肌肉记忆。所以我建议大家, 前三个月你的上肢次数不要低于十到十五次。等到第三个月往后,你练的熟悉了,你可以慢慢调整到八到十二次。那么首先第一步,你掌握了正确的动作之后,你开始选择重量了, 你拿起一个重量,你发现做十到十五次倍轻松,很简单,那这个重量就不适合你正常训练你的状态。如果是能够完成十三次,后两次我是很吃力,但是我不需要大幅度的借力或者是摇摆,把这个动作完成,我就稍微努努力,我就把它完成了,后两次比较吃力。哎, 这个重量呀,就是你的初时重量,是你现在应该拿的重量。在你练习一段时间后,你会发现十五次你也可以轻松做了,甚至咬咬牙,十六、十七十八次,二次也能干出来。那你当然要开始递增重量了。 健身房的重量一般都是二点五公斤开始递增,那你就尝试往上增重量,减数量,刚开始加上来重量的时候,为了保证动作比较标准,那你就可以完成十次嘛,十一次,十二次,十三次都 ok。 慢慢的,当你能够接近于标准的把十五次畅通无阻的给它全部完成,那就说明你又该递增重量了,所以你就慢慢这么加。但是很多朋友可能会有一个疑惑,那照你这么加,我一年那不一百公斤二百公斤轻轻松嘛,对吧?我两周递增一次,三周递增一次,甚至快一点的一周增一次。 事实就是你进步最快的时间,无论男生女生,就那三个月,就前三个月,毫不夸张, 你可能近一年百分之六十到七十的力量增长都搁那展现出来了。往后你的进步有多慢,你练着你就知道了,尤其是你练个两三年之后,再往后你看看你的重量递增到底有多慢。你可能在网上刷到啊,硬拉拉起一点五倍体重, 这这是大多数人的一个门槛,但在现实生活中,你去找一找,能拉起一点五倍的人并不多,这是需要一段时间沉淀的,不是两三个月你就能达到的。所以别刷信息刷太多了, 觉得自己练的很菜。你只要正常训练,你的进步水平其实就是大多数普通人的进步水平。别担心啊,健身房的片不够用,管够你用,放心大胆的加,放心大胆的练。 总结,没有渐进超负荷就不叫力量训练,想塑形,你必须得持续往上加重量,方向对了,我们才能谈效率。谨记,力量训练一定是你们标题以及小基数最最最最最好的塑形方式。听懂简单,下课出!

黄仁勋,突然要付钱,让你在家门口放个 ai 数据中心?最近一条帖子火了。一家叫 span 的 创业公司和英伟达美国大房企合作,推出一种叫 x f r a 的 小盒子。它长得就像普通空调,挂在你家侧墙上,里面塞满十六块最新 blackwell gpu, 能直接跑 ai 任务。 他们说,利用你家闲置的电力,就能快速部署算力,还能给你钱。有人估算每月能进账一千美元。不用建巨大的数据中心, ai 算力直接下沉到郊区住宅区,房主还能白得智能电面板和备用电池,电费网费据说能省不少。 他们不再依赖遥远的荒郊巨型机房,而是利用千家万户闲置的电力容量,让算力像水和电一样,分布在社区的每一个角落。这不是简单的设备叠代,而是 ai 扩张方式的根本转变。 过去,算力像一座座孤岛,必须建在电网最强、土地最便宜的地方,建设周期动辄数年,还常常引发周边反对。现在, ai 开始下沉,把计算任务拆散,塞进住宅的边角余地。 span 的 方案声称,这种分布式节点能比传统数据中心快六倍,部署成本低得多。 ai 的 胃口越来越大,它不再只等着电网为它新建一切,而是主动钻进现有基础设施的缝隙里生长。 想象一下,未来你的邻居家墙上可能就挂着这样一个安静的盒子,它在为你和整个网络处理 ai 任务。算力不再遥不可及,而是像街角的便利店一样散布在生活周围。电网正在被重新理解,它不再只是供电,而是正在成为 ai 时代新的神经网络。 ai 的 野心从来不是停留在云端,它正在把每一条街道、每一栋房子都变成自己生长的土壤。

今天我们迎来了大家期待已久的 ads 重大升级, ads 五,他为自动驾驶而来。首先我们来看技术升级,自动驾驶是一个需要长周期投入的产业,二零二六年 华为乾坤支架领域预计研发投入超过一百八十亿人民币,这个数字 比国内其他主要方案的供应商加在一起的研发投入还要大。我们通过云端的训练、车端的全站架空的融合,以及交互的安全,带来四大技术升级, 打造汽车智能化坚实的技术底座。首先是云端训练,算力是自动驾驶持续发展的基石,从二零二三年的二点八亿 flops 增长到现在的六十亿 flops, 我 们二十九个月增长了二十一倍。算力的规模国内第一, 今年我们在算力上的投入就会将近一百亿,未来五年 至少还要再投入七百到八百亿。正是有了强大且自主可控的云端 ai 算力资源,才支撑了 a、 d、 s 向自动驾驶加速进化。在车端,我们坚定地走多传感器融合的技术路线,每一类传感器 都有自己的优势。我们坚信只有多传感器融合的技术,才能为自动驾驶提供安全保障,是面向自动驾驶的必要条件。去年我们发布了 vr 一 点零,引领了行业的发展。今天 vr 架构再升级 计划为面向自动驾驶的 ai 智能体。云端 we 世界引擎的技术升级有两点,第一个点是 multi n g 的 的博弈,以前云端的仿真只有自车是智能体,其他的交通参与者没有博弈的能力。 我们毛体 ag 的 搏击技术,所有的交通参与者都具有自主智能的 ag, 从单车博弈变成了群体博弈,让博弈的强度提高了十倍。第二点是在线强化学习。当前主流的强化学习都是离线的方式, 所以先生成再学习后验证。我们 vivo 二点零的在线强化学习是边生成边学习边验证,学习效率提升十倍。 wa, 我 们的技术也在升级,行业首发了 基于安全风险场的防御性驾驶,把环境中的风险源按照动能场、势能场和行为场分类生成风险场, 用厂墙来量化风险的大小,画一张动态的风险热力图来实时的安全评估与决策,基于风险场来采取安全的防御性驾驶策略。

都说五乘五是力量增长的黄金计划,但为什么你一试就废?练完神经疲劳,关节报警,力量也不差?今天直接点破四个致命的认知陷阱,让你看清自己到底踩中了哪一条。这不是计划的问题,是执行的灾难。第一个陷阱,用虚假极限换算重量。 很多人抱怨用极限的百分之八十做五乘五,神经压力太大了,而真相往往是,你所谓的极限,可能连标准幅度都做不到,半蹲都不够。用这种虚假极限的百分之八十强行做阻,根本不是神经压力, 而是你的关节和韧带在承受毁灭性的风险,动作质量永远是你计算任何百分比的绝对前提。第二个陷阱,把五乘五当成每次训练的死命令。很多人错误的认为,渐进超负荷就是每次训练都加重量,但容量必须永远是五组五次,这是直线思维,崩溃是迟早的。 真正的进步是波浪式的先渐进容量,再渐进重量。比如从三组五次开始稳定后过渡到四组五次,最终完成五组五次。 关键是每一回组次的递进都需要一次高质量的减载来巩固恢复。完成整个五乘五周期后,再进行充分的减载,实现超量恢复,然后再增加重量,开启新一轮的循环。第三个陷阱,用高次数替代, 并把新手弗利希的错觉当成真理,觉得五乘五太难,转而用极限重量百分之六十到七十,每组十到十二次,感觉增肌增力效果也不错。这完全混淆了目标。训练次数决定供能系统和适应方向,超过六次的高次数训练,主导供能方向是有氧耐力偏移,主要发展肌耐力。 而五乘五强烈刺激的是发展绝对力量所依赖的糖酵解与磷酸源系统。为什么有人觉得低重量、高容量有效呢?这往往源于新手伏利期的错觉,在低起点时,任何刺激都有效果,且容错率更高。但将这种初级经验长期化,是陷入平台期的根源。当长期机械张力不足时, 你既无法突破力量极限,也不可能在未来用大重量做主时,指望当初那点耐力储备来转换。第四个陷阱,只看计划数字,不是完整系统。五 乘五不是一种神秘代码,它有效的四大基石是稳固的动作框架,基于真实极限的百分比、科学的容量减载周期,以及充分的超量恢复。忽略任何一点,你练的都不是力量,而是带长和受伤的潜力。所以,五乘五的正确系统是什么? 是质量大于百分比周期大于蛮力恢复大于训练。是在动作精准的前提下,用波浪式周期管理你的能量与强度,让每一次冲击都发生在身体准备最充分的时刻。现在清晰了吗? 你不是不适合五乘五,你只是用错了方法。真正的力量增长是精密系统的产物,不是忍耐力的竞赛。你的训练卡在了哪个环节?是动作假极限、不会周期?还是同步剪裁?把你的具体情况写在评论区,我们彻底理清,记得点赞关注哦!

三条命令,约三百行代码,一台 macbook 从灵训出一个会写莎士比亚腔的 gpt, 欢迎点赞关注,方便学习前面几节造好的分词注意力 transformer 快 到现在还是一堆散件, 今天只一个问题,怎么把它们拼成一个真能跑、能训练、能写字的 gpt? 接下来就五步,数据模型训练,采样规模走完,你会亲手搭他,训他,亲眼看他。从乱码学成句子,记住一句话, g p t 不是 魔法,是切入加 n 个两行残拆块,再加一个输出头。 第一步,把文本变成模型,能吃的数字字母级 operator, 简单到只有两行,见一张字母到编号的表。 n code 把字母串转成数字 d code 转回来, 关键在监督信号目标 y 就是 输入 x, 整体右移一位,因为语言模型的任务就是看着前面猜下一个, 看代码两行 lambda 就是 tokenizer get 下划线 batch 随机取一批起点 x 取这段, y 取它右移一位的那段一条长度 block 下划线 size 的 序列一次就产生。 block 下划线 size 个序列样本 打印出来,你会看到 y 整列就是 x 往左挪了一格。 第二步,把模型搭出来一个 g p t, 拆开只有四件事,把每个 token 查成像量,加上它排第几位的位置向量,让向量穿过 n 个一模一样的 block。 最后一层规一化,再用输出头投影成词表上每个字的分数。 而一个 block 的 前项只有两行,先互相看,再各自提炼。两步都用残差包住 注意力。前面已经讲透,这里只回扣它的四行打分,按下三角掩码挡住未来 softmax 加权求和除以根号 d 是 为了不让分数过大,把 softmax 压成死板的 onehot, mini gpt 的 forward, 把这一切串起来,输出形状, batch 乘 block 下划线 size 乘词表大小的 lockets。 现在模型能跑前项了,但参数全是随机的,它还什么都不会。先别急着训,你猜它第一次吐出的 loss 会是多少?这个数其实训练前就能算出来。 答案是 l n 六十五约等于四点一七,因为随机模型对六十五个字母几乎均匀,瞎猜交叉商就等于 l n e 词表大小。实测四点二八,误差不到零点一,这就是判断模型搭没搭对的体检基准。 训练就是五步循环,前向算损失,清零就梯度反传更新。而且别只盯训练级那条 loss, 那 就像学生狂备一套真题,换张新卷就路线,所以得留一份验证级。 训练部就这么几行,从 get 下划线 batch 取已经错好位的 x b、 y b 前向的 lock gates 和 y b 算交叉商清零反传,把梯度范数裁到以防爆炸。优化器走一步,优化器用 i m w 学习率先热身,在余弦衰减 训练时,每隔几百步就让他写一段看看。第零步,纯乱码,标点字母胡乱拼。第五百步,空格和短词冒出来了两千步,成天的英文单词出现,指示语法还磕磕巴巴。 五千步,他已经能写出带人物名,有对白格式的莎士比亚腔。你亲眼看着 laws 从四点二调到一点五,乱码就这么一点点长成了句子,这就是学会发生的样子。 续好之后让它开口,靠的就是彩样生成,是一个循环,把当前文本未进去,只取最后一个位置的预测,按概率抽一个字,拼回末尾,再尾回去。 注意每步要把上下文才到。最后 block 下划线塞死个字母,否则位置编码会越界。 最后把这几段拼成一份完整代码抄餐数据,模型、训练,彩样,加起来约一百行,但也放不下,我们让它从头滚到尾,你直接照着抄一个字不差,就能在自己电脑上把它刨起来。 temperature 是 模型胆子的旋钮,把分数除以他在 softmax 调低,他一本正经,甚至重复调高,他敢悬冷文字开始天马行空, top 下划线, k 再砍调查伪防乱码。 你看 chat gpt 回答时,文字一个一个往外蹦,那不是前端动画,正是这个字,回归循环在真实的一个 talkin, 一个 talkin 接龙, 从玩具到真家伙,同一套代码, a 一 百上三分钟出莎士比亚, cpu 上要通宵十一小时,算力换的是质量, 三个最常踩的坑也给你备好。 loss 变蛋,多半学习率太大,先降 l 二或换 b load 的 十六 loss 完全不降,通常是 x y 写反了,生成乱码,就是还没训够或 temperature 太高。 而这套框架的天花板有多高,有人用二十美元九十分钟就在云上复现了一个 g p t 二,评测分数还略超原版。从你电脑上这个字伏击玩具,到真正的 g p t 二,中间只隔着一条清晰的阶梯。 回到开头的问题,怎么把散件拼成能跑的 gpt? 五步数据错一位模型堆 block 训练五步循环,看它从乱码学成句子踩样,自回归放大看规模。 说到底, gpt 不是 魔法,是嵌入加 n 个两行残拆块,加一个输出头。 但你训出来的这个 gpt 有 个尴尬,它只会顺着你的话往下接,你问它问题,它不会回答,只会续写。怎么让它学会听懂指令,好好答题? 这就是下一期的主题。监督微调 sft, 用对话数据加上 lossmask, 把这个只会续写的机模型教成一个会听指令会回答的助手。 今天就动手跑一个吧。评论区聊聊你打算用 mini gpt 在 什么数据上训古诗代码,还是你自己的聊天记录。关注这个系列,下一期我们让它学会听话。

ai 基建,支撑未来数字世界的超级工程!大家好,我是关南笙,今天咱们聊聊 ai 基建,想象一下,你正在训练一个能写诗、编成看病、画图的超级 ai, 它需要学习互联网上所有公开数据,理解人类所有领域的知识。这需要多少算力? 答案是天文数字。当大模型在云端训练时,地底下正有一条巨龙在嘶吼,它吞食着数以万吨的电力,嘶!名声盖过了千军万马的奔腾。 根据斯坦福人工智能研究所发布的二零二三年人工智能指数报告, open ai 训练 g p t 三单次耗电量高达一千二百八十七兆瓦时,也就是近一百二十九万度电,而新一代大模型的能耗只会更加夸张。这就是 ai 背后鲜为人知的另一面。没有算力基建, ai 只是一串无法运行的代码。算力从哪里来? ai 产业链其实是一个三层金字塔,上游是芯片和光通信配件商,它们是算力的细胞, 中游是数据中心和云计算厂商,相当于算力的工厂。下游才是我们熟悉的 ai 应用和大模型。不过,英伟达 ceo 黄仁勋的五层蛋糕更扎心, 能源芯片、基础设施、模型应用一层叠一层,芯片短缺确实头疼,但最终大家抢的是电网容量,算力瓶颈已从芯片转向电表。大模型训练背后,是一座无时无刻不再以电养命的钢铁巨兽,电老虎来了! 二零二二年,全球数据中心、加密货币和 ai 行业的耗电量约为四千六百亿千瓦时,占全球电力需求的百分之二。据国际能源署预测,到二零二六年,这个数字将提升至六千两百亿到一万零五百亿千瓦时。 中国的情况同样值得关注。目前国内关于数据中心用电量存在两种主流统计口径。据中国信息通信研究院的数据,二零二五年,我国算力中心用电量达到一千九百六十亿千瓦时,同比增长百分之十八点一, 统计全社会用电量增速仅百分之五点二。而据国家能源局和中国能源报引用的数据,二零二二年,全国数据中心耗电量达到两千七百亿千瓦时,占全社会用电量约百分之三, 预计到二零二五年将达到三千五百亿千瓦时。两种口径之间的差异,主要在于后者包含了数据传输网络的电力消耗。将两种口径放在一起,并不是为了混淆视听,而是为了更全面地理解中国 ai 基建的真实用电规模。 无论如何,激量算力用电增速都远超全社会平均水平,而更完整的三千五百亿度口径,更接近于电力系统实际承受的负荷。为了便于理解,夏文统一采用信通院一千九百六十亿度的口径, 但请记住,实际电网负担可能比这个数字高出近一倍。而 chat gpt 每天处理约两亿次请求,据估计,其日耗电量超过五十万度,相当于一点七万个美国家庭的日用电量。一次 ai 搜索与普通搜索的电力差距,足以让一座火电厂多传五分钟。 各国巨头都在狂砸钱,各国正在用真金白银购买 ai 时代的入场券。根据微软、谷歌、亚马逊、 met 等公司的最新财报及投资者会议信息,美国四大科技巨头二零二六年的资本支出,合计止引约为七千零五十亿至七千二百五十亿美元。 需要说明的是,这些数字属于公司基于当前预期的规划,实际支出会随季度财报动态调整,并非最终定数。例如微软就曾明确表示,最终数据会在每个季度末公布。但无论如何,数千亿美元的基建投入已是大势所趋,中国也在发力, 算力网已被正式纳入国家六张网战略基础设施阵列。最直白的逻辑是,二零二六年,如果你还没关心夜冷和变压器,你很可能已经落榜。算力的账单,谁在为 ai 的 电影买单?上面的数字看起来很震撼,但观众最想知道的其实是, 然后呢?这笔巨额电费到底谁来付?电网扛得住吗?散热怎么解决?我们专门用一个章节来拆 节。第一,算力正在全球追着电跑。大模型训练对电价极度敏感。美国弗吉尼亚州是全球数据中心最密集的地区之一, 当地工业电价约为每度零点零七美元,而中国西部某些枢纽节点的综合用电成本可低至零点四元人民币以下。正因为如此,许多 ai 公司会把非紧急的训练任务调度到电价低谷地区,甚至跨国完成。这种追着便宜电跑的模式,本质上是全球电力套利。 第二,电网已经拉响了警报。二零二四年,英国国家电网就曾暂停受理伦敦地区新建数据中心的并网申请,理由就是可能影响居民用电。 科技巨头们为了保供,不得不自建电站或签订长期绿电购买协议。谷歌、微软、亚马逊都已成为全球最大的可再生能源企业买家。他们不敢完全依赖公共电网, 因为电网的扩容速度远远赶不上算力的增长。据路透社和财经网二零二六年六月报道,由于阿里杭州数据中心存在较大电力需求,阿里方面曾联系核电央企洽谈建设小秦核反应堆事议。这不是科幻情节,这是正在发生的现实。第三, 散热才是真正的隐形杀手。传统风冷只能支撑单机柜五到十千瓦的功率密度,而 ai 训练机柜动辄三十到五十千瓦甚至更高。风冷已是过去时,叶冷正在成为主流,它可以支撑单机柜三十四十千瓦。在网上, 静默式液冷把服务器整个泡在特殊冷却液里,能支撑一百千瓦以上。当前,国内头部数据中心厂商如秦怀数据、万国数据等已经大规模部署液冷方案, 静默式则更多停留在试点和 ppt 概念阶段,成本高昂且维护复杂。有一个极端方案是把数据中心建到北极圈附近,比如瑞典北部的 notep 地区,但那是极少数,无法复制。第四,谁的账单最痛? 答案是大模型训练公司。一个典型的 g p t 四级别训练,电费可能高达数百万美元,这笔钱最终会转嫁给用户 a p i 调用费、订阅费或者通过广告间接承担。 而电网公司也在沉压,大量数据中心涌入,导致输配电扩容投资激增,这部分的成本最终会通过电费分摊到所有用户头上。所以,当电力成为终极瓶颈,不是科技巨头先渴死,也不是电网先累趴,而是一场全社会共同买单的基建竞赛。 ai 要用电, 电也要用 ai。 正面对决的不仅是算力, ai 数据中心正从单向用电变为电力系统的柔性调节器,其背后是算电协调战略, 白天用电高峰时暂停非紧急训练,减轻电网压力。夜间风电充足时全速运转,消纳多余虑电。二零二五年的政府工作报告首次将算电协群、算电协同等新基建工程 在东数西算工程推动下,八大国家枢纽节点新建数据中心 p u 一 普遍降至一点二至一点三区间,首个大规模算电协同绿电职工项目也已建成投产。国产算力也在跑起来。二零二六年,国产 g p u 展现出了进取态式。 六月八日,北京大学 evo face 团队推出的五达熙世界模型 evo face world 在 斯坦福大学 world school 公开评测中位列世界深沉赛道第一。其原生训练全程基于摩尔现成 matts 五千全功能 gpu 及 masa 软件站完成, 这也是国产 gpu 首次全站之称。世界模型原生训练。需要说明的是,一个模型的跑分第一,并不能直接推导出国产 gpu 集体充分的宏大结论。当前,国产 ai 加速卡的整体试战率仍远低于英伟达, 在生态兼容性、软件占成熟度上还有很大追赶空间。但不可否认,从这一个案可以看出,国产算力正在从能用向好用迈进。如果要评估真正的产业格局, 还需要参考第三方如 i d c gana 发布的年度市场份额数据以及主流大模型厂商的实际采购清单。 deep seek 的 算力承保备受关注的 ai 公司 deep seek 近期上线了 i d c 设计规划工程师岗位 招聘信息,提到你将有机会参与从 m w 兆瓦到 g w 兆瓦级基础设施的规划与建设,这引发了市场对其自建大型数据中心的猜测, 但需要理性看待,招聘基建人才是第一步。这代表 deepsek 确实有自建或深度定制数据中心的规划,但远不等于数据中心已经建成。从规划到落地, 涉及选址、环评、供电审批、土建、设备采购等多个环节,周期通常以年计。所以严谨的说法是, deepsek 正在积极布局自建 gw 级数据中心,而不是已经决定自建并马上投产。 无论如何,这种从租卡到自建的趋势,说明了 ai 公司对算力自主的渴望。一个 g w 级数据中心的电力需求,相当于一座大型核电机组的输出功率,或一座百万人口城市的用电负荷。 从设计选址、供电、制冷到液冷散热、高密度供配电、自动化运维、全流程硬核拆解,这不是建一座 ai 时代的超级电站悬念。 算力与电力谁先撑不住?在这场算力基建大战中,最终决定胜负的或许不是代码写得有多好,而是谁有更稳的电源、更密的服务器、更高效的冷却液。 ai 巨头们已经意识到,模型再强,没有算力也只是空谈。算力再大,没有电力只是一堆废铁。而像 deepseek 这样选择自建工厂的新玩家,正在将算力从租来的变成长在身上的。现在, 那个让所有 ai 公司彻夜难眠的问题是,当全球算力指数级增长时,电网和冷却液能不能撑住?也许答案不在服务器里,也不在 ppt 里, 而是藏在工程师敲下的每一行设计中,藏在每一块静静运行的芯片里,藏在那些深夜还在吃电的数据中心里。最后,留给你一个开放式问题, 当电力成为终极瓶颈,是科技巨头先找到突破,还是电网先扛不住?或者我们每个人的电费账单已经在为这场算力竞赛默默买单了?欢迎在评论区留下你的判断,关注官南深,硬核不停根,朋友们下期见!