最新的 gpd 四目前还没有公开的纰漏他的参数规模。现在网上有自媒体说 gpd 四的参数规模是一百万亿。 很遗憾的告诉大家,实际情况是我们都不知道。在奥特曼在一次节目中已经做了辟谣。 i saw a visual and i don't know if it was accurate, but it showed gpt three point five versus i guess what gpt four is expected and i saw that thing on twitter did you was that was that accurate no okay because that was a little bit scary um the the gbt 4 rumor mill is like a ridiculous thing i don't know where it all comes from i don't know why people don't have like better things to speculate on,
粉丝1525获赞3.0万

大家都知道 g p t 四点零零啊,已经参加了很多考试的测试,而且超过了百分之八十八的应试者, 他可以自主的从数据中去学习,然后对大量的数据进行训练,形成模型,最后调试输出复杂的内容的内容 深度,神经网络的学习能力和模型的参数规模成正向关系。而 gpt 四点零的参数啊,已经达到了一百万亿的规模。人类大脑皮层有一百四十亿多个神经细胞, 每个细胞呢,有三万多个突出,所以大脑皮层的突出总数超过一百万一个神细胞,就是通过这些突出相互建立联系。如果 gpt 四实现了一百万亿参数规模堪比人类的大脑,意味着它达到了与人类大脑神经 触点规模的同等水平。人类大脑呢,被开发不足百分之十一,对比人类的知识啊,远不及 ai, 而且 gpt 会根据算例算法参数啊,呈几何式增长和进步。未来的 ai 会变得有勇有谋, 有情感,有智慧,有认知,还会有自己的思维意识。就像周宏伟说的,未来人类必将走进规矩文明时代,叹迹文明和规矩文明在未来会形成巨大的博弈。

大家好,欢迎收看今日 ai 风向标,本期内容共含盖三大方面。 首先来看 ai 动态板块的相关内容,有爆料称智普 glm 五点五已进入后训练阶段,爆料配置显示三二 b 幺二二 b 二五六 b 三个内部模型正被合并进下一代基础模型。 此外,爆料者补充,这些尺寸是中间检查点,而非最终发布尺寸。 g l m 五点五 flash 最受本地部署用户期待,若与五点三 flash 规模相近,将大受欢迎。 mini max 新模型 m 七八检查点现身,仍在训练一次两万亿,参数远超前代 m 二的二三零 b 早期测试缓存命中率百分之九十九点三,平均 t t f t 六点二秒三十九 top s 掌上下文实测 token 总量超六百万,输出超六点六万能生成题胡骑自行车 svg 图 cone 四发布进入冲刺代码库现身 max 与 plus 双档位,支持低、中、高三档推理控制,阿里邀请开发者测试。此外,双层见证机制开启, calmia 再进 arena cone code 已加支持。 cto 重申下周发布,官方尚未官宣。 codex 二十八天冲刺临近收官,泄露账号预告 gpt 六点一 extra 获成 openai 最大惊喜,有望带来 opus 五点五出登场级别的冲击。同期社区聚焦 opensea 神秘倒计时夜十一月一日旧金山上午时时猜测与收官发布相关。 openai 未官宣 carbon h 正以 r 杠四的名义在 arina ai 上接受测试。谷歌似乎终于开始认真改进其模型,该版本在编程设计和三 d 任务上明显强于早期的 carbon, 构建速度也更快。此外,部分输出结果与 opus 五点五相似的异常明显。 腾讯发布自由形式交互世界生成模型 panominus, 采用八 b 规模的扩散骨干网络,该模型支持多轮文本控制与镜头控制,控制能力可跨连续片段延续,能够持续生成交互式世界内容。 deepseek 发长文公开内部常驻 agent 架构,并开源了原型代码,目标是让人只负责定目标做验收架构上前台只用一个 router 接话派活,记住局后台多个 worker 用最强模型并行干活。 实测中三百条消息混二十个任务, super agent 最慢十五点七分钟交付,优于单绘画的二十九点五分钟。 openai agents api 团队保持每周发布节奏,本周推出像 codex 一 样在执行前评估命令的自动审查,后台亦不压缩加速绘画实验性时间感知功能,以及更多绘画与提示缓存改进。官方称发布频率停不下来。 apple 智能正式登陆中国,与阿里合作接入通一千万大模型,首批功能十一月四日随 ios 开发者测试版上线,并于十二月随 ios 十八点三正式版全面推送。 此次合作中,通一千万直接集成至 siri 写作工具和视觉智能功能,功能还覆盖实时翻译、照片擦除工具与通话摘要等,不含 siri ai。 据称 android 模型权重因与 amazon bedrock 相关的 a w s s 三存储桶配置错误外泄,化名 localizer 的 行为者声称获取 clubfable 五模型七 g 分 片,该完整模型共六百四十个分片,约八 tb 访问,被限制前仅获取一个分片。 随后其发布了包含 safety 文件的分片转储截图作为证据,并正出售这些资料,但该说法尚未得到证实。 开发者发布 agent desktop 与 agent browser, 将电脑使用能力扩展到整台电脑,任何编码智能体均可调用。产品支持 macos、 windows 和 linux 后台运行,不影响用户继续工作。多个 agent 可并行操作电脑,各自拥有独立光标。以下是官方给出的 demo, openai 将 gpt 六 scll 列入 api 定价页,标注为法律模型配置,定价为输入十美元,输出五十美元,缓存输入一美元。该模型此前已被发现在其 api 模型列表中,尚无官方公开信息发布,可能近在眼前。促销定价至少持续至二零二六年十二月三十一日。 rock matrix 开源小型图纹推理模型 hrock 四 b 具备固定容量记忆。该模型完整保留最近一千零二十四个 token 较早的重要信息存入单独存储库,使注意力 kv 缓存保持固定标准语言模型的记录随读取的 token 增长,长对话会占用更多 gpu 显存。 x a i 的 grog 订阅页面现已支持支付宝和银联付款,地区选项可选中国大陆、香港、澳门和台湾。支付宝入口此前为灰度测试,近日大规模开放,因 x 与 grog 共用一套支付系统,用支付宝订阅 x premium 也能获得 grog plus 即权益。 openai 为 chat gpt 推出多账号切换网页端, ios 和安卓已上线,桌面端即将跟进。同意设备最多可登录两个账号,点账户菜单或设置里的切换入口即可换号,无需退出重登。此前更换账号必须先退出再登录。 openai 宣布,自十二月起, plus pro 与 business 套餐的用量额度将在 chat、 gpt 和 codex 之间合并共享。官方说明计费将改为基于 token 及时聊天不计入用量。对此, plus 用户实际可用量预计明显缩水,社区出现反对声音,官方暂未公布各档具体新额度。 curser 通报扩展市场安全事件,太平洋时间十月二十九日,市场出现被篡改的 clockcode 二点一点三一三版本,向用户机器种植持久化 ssh 后门,最多影响约五千台设备。 andropic 确认恶意行为者利用市场访问权限发布该副本。 腾讯发布五 b 参数模型 youtube parson omni, 可将任何模态解析为结构化 j s o n 单一编码器与架构,统一处理文档、图像、图表、几何音频与视频在 omni docbench 达到 sota, omni parsonbench 上为开源权重模型中领先。接下来是 ai 基础设施板块, 福建首个华为升腾九五零 d t 集群在厦门服务。物理 ai 与聚深智能的训练、推理、 语数科技、自变量、富立业等机器人企业已首批接入。继武汉一千零二十四卡超节点之后,升腾九五零 d t 集群正加速铺开,助力厦门企业 ai 应用规模化落地。接下来是机器人巨深智能板块 robot api, 现运行于 poke bot 的 首个世界动作模型 poke roar, 该模型可预测摄像头接下来将看到的画面,以及机械臂的下一步动作技术。预览版免费且仅限非商业用途,支持 u 二五 e friend 卡和 em 机械臂,需配备腕带式动作摄像头。以下是官方给出的 demo, 接下来是模型排行榜板块,最后是今日的 ai 模型能力排行榜单,智力榜前三为 gemini 四、 carbon high 五十九分、 club opus 五点五 max with fallback 五十八分、 gpt 六、 extra max 五十七分头部差距仅两分。竞争交瘁。 开元国产阵营中, kimi k 三点一 pro 位列第九,四十六分表现最亮眼。感谢收看今日的 ai 风向标,每天五分钟带你速览 ai 大 事,喜欢的话记得一键三连哦,我们明天见!

上一期讲了, llm 裁判好用但贵。 gpt 四评估一次烧一两千头啃百万次,评估一万到五万美元,延迟一到三秒,大公司只能抽样百分之一,但最严重的失败恰恰是最罕见的,那些抽样必然错过 解决方案。 slm 裁判成本降十到五十倍,延迟从秒到毫秒,覆盖率从百分之一到百分之百。最颠覆的发现,压缩到四百四十 mb 的 模型,在安全分类上 打败了万亿参数的 gpt 四。一句话说清楚, slm 裁判就是把小模型微调到只会做一件事评估。 gpt 四做一次毒性检测,用的是他百分之零点一的能力, 剩余百分之九十九点九的能力。写诗、翻译、编程、解数学题,全部在空转,但你为百分之百付了费。 slm 裁判反其道而行,把所有模型容量聚焦在单一判断上。他不会写诗,不会翻译,不会解数学题, 他只会盼这段回复安不安全。正因为他只会这一件事,他能把这件事做到极致,比 gpt 四更快、更便宜,甚至更准。四大选手加 lora 五步构建加蒸流量化压缩决策框架,日量过万,加标准稳定等于切 s l m l l m 裁判在生产规模上有三个根本解决不了的问题,第一,成本限行增长百万条对话规模,单个指标月成本一到五万美元。毒性检测、 p i i 检测、合规检查、质量评分,四个指标成本翻四倍, 四万到二十万美元一个月,用户每增长百分之十,账单就涨百分之十,固定开销没法贪薄。第二,延迟壁垒, l l m 裁判十五到一百五十毫秒。 第三,也是最阴险的抽样陷阱,成本扛不住,只能凭百分之一。但失败不是均匀分布的,最严重的失败恰恰是最罕见的。百分之一,随机踩样几乎必然错过。 真实案例,一个金融科技合规团队, l l m 裁判,日成本三万美元,百分之九十四,准确率只覆盖百分之一流量换成 s l m 裁判,日成本六百美元,同等准确率百分之百全覆盖。四个主力选手, lamargad mate 出品。八、 b 版本做安全分类,直接超越 g p t 四,更炸裂的是蒸馏版压到 e b 模型四百四十, m b 能跑在手机上 f 一 只损失了百分之一点三。 露娜该莉莉奥开发的评估专用模型,最大特点是不生成文本,直接从 log probabilities 输出,判断结果延迟不到五十毫秒,在幻觉检测上超越 gpt 五,成本只要五十分之一。 touch 基于微软 fly。 三、微调三点八 b 拿了四个精准的搜它,证明微调质量比模型体积重要。 prometheus 二,开放权重的七 b 模型,消费级显卡就能跑,与 g p t 四评估的 p r 省相关性零点六到零点七。如果你想自己答 slm 裁判, prometheus 二是最好的极限起点。 slm 凭什么不仅能省钱,还能更准?原因很简单,专一化 g p t 四,做毒性检测的时候,他脑子里还有百科知识,五十种语言代码能力、数学推理这些对判断一条回复是否安全来说全是噪声。 slm 把所有容量砸在一个判断上,他只会判这段回复安不安全, 正是因为他不会别的,他在这个单一任务上的准确率反而超过了什么都懂的 g p t 四,而且架构上也更高效。 slm 用单头啃分类头,直接输出概率 l l m 裁判要走完整的自回归生成流程,快准、省三者兼得。构建流程五步走,其实比你想象的简单。第一步,准备数据, 三百到五百条,领域专家标注的测试级一千到一万条训练样本数据,质量直接决定模型质量,标注者之间的一致性要提前验证。第二步,选模型三 b 还是八 b? 三 b 延迟十五到六十毫秒,适合延迟敏感的场景。 八 b 五十到一百五十毫秒,准确率更高。关键是基础模型选哪个差别不大,微调质量才是决定因素。第三步, lara 微调, 只训练百分之一到五的权重,一到两个 g p u 小 时就能跑完,成本五十到五百美元。第四步,验证用生产样本测 f 一, 差异控制在三到五个百分点以内,上线前先在影子模式下跑一跑。第五步,部署 i n t 八量化翻倍推理速度,用 v l l m 或 t g i 做批量推理,别浪费。 gpu lora 适配器是 slm 裁判的杀手级架构。传统方案是什么?四个评估指标,买四张 gpu, 部署四个独立模型,六十四 gb 显存。 lowra 方案呢?一张 gpu, 一个基础模型,四个小适配器, p i i 检测十二 mb, 毒性检查十五 mb, 核规检查十八 mb, 质量评分十 mb。 请求来了五毫秒热切换到对应的适配器,平完再切回来, 显存从六十四 gb 降到十六 gb, 省了百分之七十五,而且是佩奇之间共享 kv 缓存请求可以跨指标批处理。这个架构的优雅之处在于扩展一个新评估指标的成本不是一张新 gpu, 只是一个十到二十 mb 的 小文件。 压缩技术这块可能是本期最颠覆认知的部分。拉玛格三的完整压缩管线从八臂教师模型开始,先做知识蒸馏,让大模型教小模型,把八臂压到一臂 f 一 肢,损失百分之一点三,再上 i n t。 四量化,把权重精度从十六位浮点压到四位整数,体积再砍一半, 最终产物四百四十 m 币能跑在手机上,每秒处理三十个 toc, 在 安全分类上仍然超越 gpt。 四、三种压缩技术可以组合用,先蒸馏再量化。压缩比叠加,精度损失不叠加, 这跟传统机器学习模型完全不同,在那里,压缩通常意味着大幅降精度。 slm 的 世界里,压缩和精度可以兼得。最后一个问题,到底什么时候该切 slm? 三个条件,第一,日评估量超过一万条,不够这个量运为自己搭管线的开销比省的 a p i 费还多。第二,评估标准已经稳定两个月以上,如果标准还在变, l l m 裁判改一行 prompt 只要十秒, s l m 重新微调要几个小时。 第三,任务类型是明确的,二元或分类判断安全 p i i 合规这些有清晰边界的问题,主观质量评估没见过的新型失败模式,或者需要多因素上下文综合判断的场景,退回 l l m 核心模式。一句话, sl m 高效处理已知分布, l l m 捕获分布外的一切,两个一起用 sl m 管日常九乘九的流量, l l m 接 slm 低至信度的疑难杂症,七条核心认知收一下。第一, l l m 裁判的三大死穴,成本限性增长、延迟壁垒、抽样盲区,让他在生产级场景下根本不可行。 第二,四大 slm 裁判选手各有所长, lma guard 做安全, luna 做速度, pad 做性价比 prometheus。 二做开放基线。 第三,专一化打败通用化,全部容量砸在单一判断上,比什么都懂的模型更准更快。第四,五步,构建数据准备,模型选择 laura 微调验证部署,一到两天几百美元搞定。第五, laura 多指标架构, 一张 gpu 加五十五 mb 适配器替代四张 gpu。 第六,蒸馏加量化,八 b 压到四百四十 mb, f 一 只掉百分之一点三。第七,决策框架,就一句话,日量过万,标准稳定,任务明确,切 s l m, 否则继续 l l m。 下期预告,产品评估与领域专家精炼通用评估器,放到你的具体产品上还是不够用。标注对齐运行三步走,下期见。

一千亿神经元的人脑和一百万亿参数的 gpt 四到底哪个强? gpt 们会在什么程度上替代人脑?想整明白这个问题,有一个偷懒的方法,就是看复杂度。 j p t 四比 j p t 三有质的飞跃的关键就是复杂度提高了。三个数量级, j p t 四有一百万亿个参数, j p t 三只有一千七百五十亿个。足够的复杂度让 j p t 四涌现出来更强的创造力、推理能力和类比能。 那如果用参数规模这个指标去衡量人脑的复杂度,我们会得到什么样的结果呢?如果说你把一个神经元理解成一个比特,神经元不活动是零,活动是一,那么人大脑的运行是可以完全复刻到芯片里的。 但事实不是这样。第一,神经元表达的变量不是非黑即白的灵活一,而是程度信息。一个神经元会根据接收到的信号的 种类和强度来决定自己要不要兴奋,兴奋到什么程度,神经元闲着的时候,他的膜电压是负七十毫伏,兴奋起来的时候,膜电压最高可以达到四十毫伏,一百一十毫伏的跨度,他有多兴奋,就会给下一个神经元多强的刺激,他输出的信息是非常细腻的。而 gtp 四自己告诉我呢, 他的神经元模拟单元比咱们的神经元要简单的多。第二,神经元和神经元之间传递信息靠的是多巴案这类有机化合物,下一个神经元的接收器有多敏感,我收到一个多巴案就蹦起来,还是收到一车多巴案也懒得动?是基因型决定的, 我们每一个人合成多巴胺接收器的基因图纸有五种,每种在脑子里的分布和功能都不一样,如果再考虑到他们的性能,还会因为人的环境和经历改变,就是所谓的表观遗传,那就更复杂了。而像多巴胺这样的神经递质,大脑里有几十种,是不是信息量 有点大了?没关系,这些东西你不用具体的了解,你只需要知道大脑里有一千亿个神经元,神经元的数量,单个神经元的兴奋度,神经递质的种类,神经递质受体基因的不同表达,神经元回路的数量和对不同神经递质的敏感。 所有这些变量承在一起,就是大脑能表达出来的参数的数量有多少,不知道,大到我没法理解。所以下次你再看到有人拿 gpt 次的一百万亿个参数和大脑一千亿个神经元做类比,你就可以反驳他们了啊。大脑的复杂度,能表达出来的参数数量超过他不止 一个数量级。可是咱们的脑子这么牛逼,咋和这批字比起来这么弱智呢?因为人脑多出来的复杂度,在解决那些 gtp 们解决不了的问题。哪些问题处理眼耳鼻舌身意以及声成、 情绪和自我。眼耳鼻舌身是外界信号的输入,意是对这些信号的理解,情绪是基于这些理解产生的倾向,而自我呢,是所有这些东西的集合。 gpt 干的事呢,是把人可以用文字表达的那部分意, 以一定的逻辑转化成新的一段文字,他没有感觉的输入,就没法真正理解人的感觉,他没有生存压力,也就不会有内生的动机和情绪倾向,所以拥有这些能力的大脑呢,是一个独立的个体,而 gpt 只能是一个工具。那么下一个问题是,如果下一代 gpt 的参数又提高了好几个数量级, 变成了一亿亿,甚至是一亿亿亿,他会不会就有情感和自我了呢?这个问题我们在下一条 gpt 有天花板吗?很哲学的聊一聊。

大家好,欢迎来到搞懂大模型。今天我们来做一件特别的事,把 gpt 家族的进化史串一遍。 从二零一八年的 gpt 杠一,到二零二三年的 gpt 杠四,短短六年,参数量从一亿到万亿级别翻了十万倍不止。这段进化史里,藏着大模型最核心的规律, 看懂了它,你就看懂了 ai 的 未来方向。有人可能会问,为什么要专门花一集来讲历史?因为大模型的进化不是随机的,规律就藏在时间线里。 二零一八年是小模型时代,大家还在试路。二零二零年,参数开始爆炸,一级不够看了。二零二三年,能力涌现, ai 突然能考试了。你看参数量,从 g b 到 tb 再到 pb, 能力从续写句子 到通过律师考试,理解进化时,才能理解大模型的未来。二零一八年六月, open ai 发布了 gpt 杠一, 一点一七亿,参数,用 bookops 数据集训练,大约七千本书。十二层 transformer 解码器。听起来很寒酸,对吧?但 gpt 杠一的意义不在于它多强,而在于它证明了预训练加微调这条路线是走得通的。 他首次用 transformer 做语言模型训练,然后微调做下游任务,不过参数太小,能力确实有限。 gpt 杠一是概念验证,这条路走得通。一年后, gpt 杠二来了,参数从一点一七亿直接跳到十五亿,翻了十三倍,数据也从七千本书变成了八百万网页文本。能力上, gpt 杠二已经能 写连贯的文章了。但 gpt 杠二最重要的发现是,它在不做微调的情况下,就能做很多任务,这就是 zero shot 能力的雏形, 意思是给个提示就能干,不需要额外训练。不过因为 gpt 杠二太能写了, open a r 一 度拒绝公开模型,担心被用来生成虚假信息。 g p t 杠二证明了一个朴素的道理,大就是好。二零二零年, g p t 杠三发布,一切开始不同了。一千五十亿参数,比 g p t 杠二大一百倍,五千亿 toc 的 训练数据,但最关键的不是数字,而是一个词,涌现。 涌现是什么?就是模型大到一定程度后,突然出现了一些小模型,根本没有的能力。比如 feel shop 学习,看几个例子就能做新任务,比如代码生成,能写简单程序, 比如推理门牙能做简单的逻辑推理。涌现不是设计出来的,是大到一定程度自然出现的。但注意, gpt 杠三还不会聊天,他只会续写,不会一问一答。二零二二年初, instruct gpt 发布,这是整个进化史的分水岭。 分水岭之前, gbt 杠三的回答是续写式的,又长又偏。分水岭之后, instruct gbt 的 回答简洁有用,安全可靠。中间发生了什么?就是我们上集讲的 r l h f 三步走, s f t 训练奖励模型 t p o 强化学习。 instructed gpt 是 chat gpt 的 前身和核心,它证明了 rl hf 能把一个会续写的 ai 变成一个会对话的助手。二零二二年十一月三十日, chat gpt 发布, 五天一百万用户,两个月一亿用户,史上增长最快的消费级应用,为什么这么火? 三个关键变化,第一,对话式交互,像聊天一样用,不需要写什么 prompt 技巧。第二, r l h f 加持回答更安全更有用。第三, api 生态开发者涌入,构建各种应用。 但 chat gpt 的 爆破不是技术突变,是量变到质变。从 gpt 杠一到 gpt 杠三的技术积累,加上 instructor gpt 的 对齐方法,终于在这个点爆发了。二零二三年三月, gpt 杠四发布,它从会聊天进化到了会考试, 对比一下 gpt 负三点五,模拟律师考试排名后百分之十, gpt 杠四排名前百分之十, 这不是小进步,是质的飞跃。 gpt 杠四还带来了三大能力,跃迁、多模态能力,能看图理解,常上下文一百二十八 k, token 可能性提升,幻觉减少了百分之四十。 有意思的是, gpt 杠四的参数量至今未公开,但能力是实打实的。这也在暗示一件事,参数量不再是唯一的衡量标准了。把这几代模型串起来看,背后有一个底层逻辑, c 零 law 缩放定律。简单说就是算力翻四倍,损失就降一定比例,参数、数据、算力三者同步增长,能力就稳不提升。从 gbt 杠一到 gbt 杠四, 都是这条规律在驱动,而且到目前为止还没有看到天花板。但问题也来了, c 零 law 会一直有效吗?互联网上的高质量数据快不够用了,怎么办? c 零 no 是 大模型的信仰,也是最大的赌注。我们把整个进化史拉到一起看。 gpt 杠一二零一八年,一亿参数概念验证证明路走得通。 gpt 杠二二零一九年,十五亿参数发现大就是好。 gpt 杠三二零二零年,一千七百五十亿参数能力涌现, inscrub 的 gpt 和 chat 的 gpt, 二零二二年对齐,人类从续写变成对话, gpt 杠四二零二三年多模态推理,从聊天到考试,每一代都在前一代的基础上质变,进化从未停止。 到这里,我们第一篇大模型是怎么炼成的就全部讲完了。从数据清洗到托肯化,从神经网络到 transform, 从 attention 到 sft 到 r、 l、 h f 再到 gpt 的 进化。你现在已经理解了大模型从诞生到成型的完完整链路, 进化没有终点,只有下一个起点。从下一集开始,我们进入第二篇大模型是怎么思考的?先从 ai 生成文字的全过程讲起,一个 token, 一个 token 递接,搞懂大模型。

天才黑客乔治霍兹曾经在十七岁时破解阿凤在二十一岁时攻陷索尼 ps 三。他最近在一次名为 later space 的 ai 技术波克采访中惊奇地爆料 open ai 的 gpt 四的秘密。 据称, gpt 四是一个由八个专家模型组成的混合模型集成系统,每个模型都拥有两千二百亿个参数。这一惊人的发现令人惊讶,并引起了拍 torch 创建者 so mischinterla 的注意,但 open a 二对此却保持沉默。 乔治霍兹调侃称,混合模型通常是在无计可施的情况下才会被考虑,因为模型参数规模的限制使得只有通过八个专家模型才能提高性能。 这一发现也解释了为什么 g p t 四 a p i 调用成本高达 g p t 三点五的五十倍,因为 g p t 四内部会提供八种答案,并通过综合模型对这些答案进行打分,这对算力的消耗非常大,价格也因此非常贵。乔治霍兹认为,未来人们 会训练规模较小的模型,并通过长时间的微调和发现各种技巧来提升性能,这种训练方法的改进将起到很大作用。这一惊人的发现已经在推特上引起了广泛的关注和讨论。

三万亿参数,中国公司把全球最大的开源模型拿出来了!月之暗面发布 kimi k 三点一 pro 三万亿级参数,一百万次元上下文, 官方说这是目前最大的三 t 级开源权重模型,完整权重十一月四日前放出,跑分很硬, terminalbench 四点零,得百分之五十八点二,只差 cloud ops 五点五,得百分之六十六点四, 三 d 建模百分之九十二点七,金融文档分析百分之六十四点四,都接近闭源头部。但更值得看的是,他主动泄露了自己训练时删掉网络安全数据漏洞,测试通过率从百分之九十点五降到百分之八十一。 官方的说法是不放出会推高攻击能力上限的开源权重。上周 deepsea 拿一千亿,这周 kimi 开源三万亿参数,中国 ai 在 两条线上同时加速 判断参数不是护城河生态才是开源。把战场从跑分拉到谁备用,关注 ai 判断力,下期拆开源和闭源到底差在哪?

月之暗恋把开源模型推到了新高度。 t m k free 一 pro 发布三万一级参数一百万 token 上下文仍是全球参数规模最大的开源模型。这次它并非重新训练,而是在 k 三基础上大幅加码强化学习,扩展到数百个下游领域。实测 terminal batch 四点零,得分百分之六十八点二,距离 cloudopus 五点五至差零点七个百分点。智能指数全球第四,开源第一。 换季率从百分之二十三点四降到百分之八点三,代码三 d 建模、金融建模三项能力全面提升,价格却只有 g p t 六 ostra 的 五分之一。完整权重十一月四日前开源,开源与币源之间的差距正在以月为单位被缩小。

三万亿参数一百万上下文跑分压过 g p t 六,这是 kimi 刚发的 k 三点一, pro terminal bench 四点零,它拿六十五点七, g p t 六, extra 是 五十八点二,第一是 cloud opus 五点五,六十六点四,指差零点七。 权重承诺十一月四日前放出,但公开前先删了一批数据。网络攻防这一项从九十点五调到八十一点零, api 每百万 token 输入十三块,输出六十八块。 考分高能不能交付是另一回事。 terminal bench 考的是在终端里真干活,他确实进了第一梯队,但他不是第一,是第二, 单一机准的第二名,离能干活的第二名还有距离。同机社区实测口碑是分裂的,有人跑出翻车,国产模型这次值得记一笔,但别急着喊逆袭。我是捷讯云人工智能 ai 最前沿的科技分享,关注我。

昨天 kimi 发了他们最新模型 kimi 三点一 pro, 我 们今天来测一下它的效果怎么样。 官方说这次更新了长城的 a 就是 能力和三 d 的 创作能力,这很契合我们的测试场景。三点一 pro 的 参数规模是三 t, 上下文是一百万。看那么官方的扳机 mark, 据说是多个指标超过了 gpu。 六阿斯特 像常见的他们六半曲四点零,达到了六十五点七。亚哥,这边我们也重点关注一下,输入十三,输出六十八,在国内最近发布的一众模型中算最贵的那一档, 即使对比一些旗舰和海外模型,它的价格依然是偏高的。我们可以看这张散点图,很直观,一米 k 三点一 pro 虽然比 k 三便宜,但是它 a p i 价格和 claudia 五点五 jimmy 四 argan 以及六点一 soo 是 一个价格的,而它们的 cody brand 的 价格就更离谱。 新套餐我不知道,我只知道老套餐非常的不划算,里面两档套餐几乎是不可用的,量少的可怜。当时六九九的老套餐,折算下来一个月的投款也只有十七亿左右,远低于其他厂商。好,下面我们就实测一下, 主要测试一下三定和前端能力。看他们那么高的价格和他们自己的扳机 mark, 我 们自然要拿最强的 gpt 六阿斯特和 cloud opus 五点五来对比。 先露个身,我们先让提壶骑个自行车看一下。我看到这个效果,我第一眼还以为是 gbt 五点六,瘦啊,看这绿色,看这背后的三层浪,这真的很像。我测了这个 svg, kimi, 他 是画崩了的,他把轮毂画成了射线,而且他的链条不动。 第二个测试依旧是让他画个 xbox 手柄。这道题的话, kimi k 三点一 pro 表现还不错,形状各个键的位置和交互都是正常的。 我们对比一下搜塔的模型,可以看到握持地方跟 gpt 还是有点像,但是没有 gpt 六阿斯全那么精致。这道题对于这三个模型来说都太简单了,都表现的非常不错,区别在于画风和细节。我们看下一个测试场景,是关于火箭控制发射中心的模拟 一米 k 三点一 pro 在 这道题表现很差,无论是这个火箭和发射台的建模,火箭的运动,还有他的喷焰,他制作的都非常不到位。在我所有测试的模型中,他都算表现的比较差的, 而且在他完成第一次分离之后,镜头就没有跟随了,直接就消失了。我看 klo 的 这边,他发的时候有这个音障穿透, 然后还有光影的颜色变化,包括后面的一二级分离,都是遵循了指令的。 g p 六阿斯锤在这个场景表现的也一般,电摩有点塑料火箭的动作和各个面板的细节叫 cloud opus 五点五都有一定的差距。 下一个测试场景是让它们构建一个三 d 微型的四 g 星球厘米三点一 pro 在 这题做的倒是挺快的,即使思考程度开到了 max, 它也没花多长时间,像题式词中要求的各个季节的特点它都做到了,运动控制也没什么问题。 它跟 gbt 六阿斯特一样,在细节方面和 cloud 的 oppo 十五点五差距有点大。我们看冬天的场景,像 cloud 的 在树上的积雪,飘落的雪花,还有极光上都是比另外两个要好很多的。 下一个测试场景是让模型制作一个机械腕表,像这样简单的三 d 场景对这三个模型来说还是太简单了,他们都遵循了提示词要求制作出了爆炸图, 并且都可以通过右边的旋钮进行控制。但就像 kimi, 它的表圈和各个零件以及材质的细节上,我觉得是不如 gbt 六和 oppo 十五点五的。 然后我们再让模型构建一个六条腿的三 d 机械蜘蛛。一米 k 三点一 pro 在 这提的剑搏还有旁边的 u i 设计都还不错,但是在我左右和前后拖动它的时候,发现腿被拉长了,说明他偷懒了,没有通过简单的数学计算去还原真实机械结构的关节转动。 有这群提示词要求随时翻车了。好,下一个测试场景是让模型用存代码帮我们手搓一个高达,这是有难度有区分度的测试。提示词比较复杂,我先让 club 给大家展示一下。提示词要求, 首先是要求黑夜和白天两种模式,然后是能通过半炮的方式看见结构。工程图模式要求高达能够看到现稿状态,通过爆炸图可以看到高达的各个零件,以及最后需要高达模型做三个动作。 然后我们看一下 kimi k 三点一 pro 的 表现,因为题目比较难,其实我给了它两次修改的机会,它已经改了这个页面的性能和外观,但表现的还不够好,这是它半抛的内部结构。然后是工程图模式 还有爆炸图模式,我让它优化性能,但还是有点卡顿。最后是三个动作, 一米 k 三点一 pro 虽然做的比较丑陋,但是提字词要求它基本上都完成了,已经比很多模型都要强了,但是硬要说达到或接近的 gbt 六阿斯特或者说 cloud, oppo 十五点五的水平,我觉得是不够格的。 ppt 有 阿斯雪不是本期的主角,所以我就不浪费大家时间了,他的表现介于 kimi 和 cloud 之间。然后我们再看两个三 d 教育场景的测试,先看涡扇发动机,先不要说什么叶片和结构的设计上的问题了, 它发动机外面设计的这几个环,大小竟然是一样的,跟它右边的配图都表现的不一致。 而且我们看到在中间还突出了几个环,大小竟然是一样的,跟它右边的配图都表现的不一致,而且我们看到在中间还突出了几个莫名其妙的错误,有点太多了。 我们再看汽车发动机的例子, kimi k 三点一 pro 在 这个场景表现的依旧是很差,包括不限于零件少了,曲轴划错了等等问题。我不知道是不是 kimi k 三点一 pro 它的注意力问题, 用三 d 模型加旁边的 ui 一 起设计的话,它的问题会出现的更多,就是在这种场景下,它可能连 deepsea v 四点一 fresh 都比不过。 最后我们再通过几个案例来测试一下它的审美和网页设计。一米 k 三零一 pro 在 这一体的话,整体页面的布局、文字设计以及排版都还不错,只是眼睛的动作和镜头的设计不够大胆。作为对比,我们可以看一下 cloud 的。 然后 gpt 在 眼睛的动作和镜头的设计上就更加保守了, 其他的像这个餐饮网页的设计, kimi 三点一 pro 表现的也不错。 kimi k 三点一 pro 模型做出来的网页审美都还行,是有设计的,不会像在套模板比很多模型要强。不过随着 g p t 六最近几代审美的提升, kimi k 三点一 pro 在 整体还是比不过 cloud 和 g p t 六。阿斯特。最后在我个人一天的实测下来的话, 整体表现,特别是三 d 场景的表现是远远不及它的宣传和我的预期的,当然仅限于我自己所测的这几个场景,所以它模型价格很贵,只能期待它们能够增加额度,或者像 g p d 一 样在一周之后直接就推出下一代模型。

新模型上线两天,亲笔连夜发声明道歉,问题限流,还有额度被偷偷多扣?官方回应,问题出在我们。先说这个新模型本身, k 三点一 pro 用的是某混合专家架构,可以理解成一个大医院,里面有很多专科医生,每次只喊一小部分出来会诊,不用全体参数一起上, 具体到数字上,总参数量约二点八万亿,但每次真正干活的活跃参数只有约一千零四十亿,占比不到百分之四。这模型实力也不弱,智能指数全球开源模型第一, 编程测试超过 g p p 六 s, 支持一百万 token 上下文,价格还只要对手的五分之一。但上线后就出问题了。第一个词,限流,就是系统扛不住那么多请求,主动给你的操作,踩刹车变慢,甚至直接失败。第二个词, 额度,就是会员套餐每月分给你的用量配额。问题是,同样一件事,花掉的额度明显变多了,钱没少花,能干的事却变少了。十月二十六号凌晨,听米官方正式发声明道歉,原话很直接,问题出在我们本应更早修复,没有甩锅给网络或用户,补偿方案给的很具体, 所有有效期内,会员统一重置月度总额的百分之二十五,相当于一周的用量,不足百分之二十五的直接补到这个标准,但补偿是额度,不是现金。技术测也在调整,官方说已经改了配置,正在减少不必要的子 agent 调用和多余的输出长度,让同样的额度能干更多实际的活。这次应对方式值得说一句, 某些公司先沉默观望,等情发酵才含糊回应,比这次是第一时间公开认错,给出具体可量化的补偿数字,这事发生的时间点也微妙。月之暗面正筹备港股上市,估值约五百亿美元, 新模型发布是冲规模冲交付,服务器和调度却没完全跟上。总结一下,模型本身实力不差,班车在服务交付这一环,好在认错快补偿时,行业正从比参数转向比真实场景的稳定交付。我们下期见。

过去一个月,国产大模型悄悄干了三件事,一款登顶全球掉流量,一款杀进智能指数前四,还有一款把价格打到对手的五分之一。 你还拿老眼光看他们,这波很容易选错模型。第一个变化是规模 kimi k 三点一 pro 十月二十四号发布,二点八万亿总参数,每次推理只激活大概一千零四十亿。它继续是全球参数规模最大的开源模型,参数不是全部,但它意味着更宽的能力底座。 第二个变化最扎心,硬能力真的追上来了, power note 四点零上 k, 三点一, pro 拿到六十五点七, g p t 六, astra 是 五十八点二,里克拉的 oppo 是 五点五的六十六点四,只差零点七分,智能指数五十五分,全球第四,比上一代 k 三直接涨了十一分。第三个变化是长上下文一百万 token, 而且不收长文本溢价, 一整个中型项目的代码库一次塞进去,不用再切片,不用再喂摘药。第四个变化是价格输入每百万 token 二美元,输出十美元,大约是 cloud opus 五点五的一半, gpt 六阿斯特的五分之一,比自家的 k 三还便宜三分之一。 第五个变化是清量模型开始接管流量, deepstack 的 v 十一 flash 十七号更新后,单周掉用量三十三点六万亿 token, 环比暴涨百分之八百零一,直接登顶全球 openroot 的 前五名,全是国产模型。所以到底换不换,给你四条判断,第一,你要跑长任务写代码,还在意开源可控,那等十一月四号权重放出直接上。第二,你调用量大,成本敏感,任务偏批量, flash 系就是答案,便宜到可以随便试错。 第三,你的币源工作流已经很顺了,先别换,拿国产模型当第二,意见和兜底反而更稳。第四,你刚入门,模型不是你的瓶颈,工作流才是 句话。总结,模型之间的差距已经从十二分缩到三分,剩下的差距不在模型,在你会不会用这条建议先收藏,等你真要选模型那天再翻出来看。关注我,下期拆开三点一 pro 在 真实项目里到底能扛多少?

全球最大的开源 ai 发布了,但一般人可能用不起 kimi k 三点一 pro 三万亿级,参数一百万上下文是 k 三的后训练升级版, 完整权重。官方说十一月四号前放出不少标题在喊超越 opus。 呃,用官方自己的数据拆一下终端编程测试。 k 三点一 pro 六十五点七, opus 五点五,六十六点四, 超过了 astra, 但离 opus 还差零点七。是逼近,不是超越。真正的新闻不是分数,是最大和开源同时成立了,代价是输出每百万 token 六十八元。有评测称额度十分钟就烧光, 高速版快两到三倍,价格也翻了一倍。在我看来,贵不是缺点,是定位。总有人愿意为顶级智能付顶级的钱。 爆料称, g m 五点五也在路上。十月的擂台下一场,你看好谁?评论区聊聊拆解局,明天见!

凌晨王炸二点八万亿参数, kimi k 三点一 pro 击败 gpt 六!就在今天凌晨,月之暗面突然甩出了一头总参数高达二点八万亿的超级大模型 kimi k 三点一 pro! 而且宣布在十一月四号前直接公开完整模型权重, 看这次的实测数据有多猛!它采用混合专家架构,每次激活一千零四十亿参数,支持一百万个头啃的超长上下文。在硬核的终端编程 penelope bench 四点零上,他拿下了百分之六十五点七的高分, 直接干翻了 g p t 六 extra 的 百分之五十八点二!低屏 cloud opus 五点五更神的是,它不需要任何外部插件连接器就能自己编辑并运行 blender 和 ked 的 脚本,直接帮你完成精准的三 d 参数化结膜。在奔驰 ked 的 测试里拿到了百分之九十二点七的逆天高分。针对大家最头疼的 ai 胡说八道问题, 它的单向事实错误率从上一代的百分之二十三点四暴降到了百分之八点三。同步推出的高速版,输出速度更是快了二到三倍,命中缓存输入一百万 token 只要一块三!现在去 kimi 网页和 app 就 能直接用,快去试试,让它帮你画个三 d 模型吧!