百分之九十的人不知道你的思维与认知可能正在被 ai 影响甚至反向塑造,因为模型在输出时倾向于去除大概可能应该这类模糊词,从而生成自信且连贯的输出。这个现象被称为 confidence inflation, 也就是自信度膨胀现象, 即你感知到的模型的输出的准确性其实远高于这个输出实际的准确性。据研究显示,模型的实际准确率 其实低于真实准确率百分之二十到百分之六十。这非常可怕。这是因为市面上的语言模型是基于 r l h f, 也就是基于人类反馈的强化学习,而评估者们通常会将 模糊、模糊以及犹豫不决的输出标记为低分数,所以模型学习到了通过展现坚定的立场来获得更高的评分。而你作为人类, 往往会将从输出中感受到的确定性。至于硬核逻辑以及证据质量之上, 这是人类的大脑认知机制失调,这是没有办法的事情。这是一种人类大脑缺陷而且组织严密、立场坚定且逻辑堆叠,过高的输出往往容易掩盖其中内嵌的错误。好,今天先讲到这里,有机会我们下次再讲这个 topic。 对了,大家请大家在评论区告诉我,你们更想看哪个方面的,就是 ai 的 科普,想看更加硬核的 ai 拆解还是实验?或者说是我今天讲的这种,呃,它对你的影响?这类科普下期再见。
粉丝1.5万获赞19.6万

人类的面部有四十三块肌肉,在算法的眼中,他们只是零与一的排列组合。但这真的是全部吗? 在这里,情绪成为一种可被测量的维度,深度学习让每一次触媒都无所遁形。 机器能精准测量表情的维度,但唯有人类才能读懂内心的温度。

这是一只狗,但当你问 ai 是 依据什么来判别这是狗时呢?答案呢?可能会出乎你的意料。研究发现,现在几乎所有的缩塔视觉模型根本没在看前景物体,全在靠背景偷偷做分类。也就是说,你训了几个月的 vip, 其实是个背景识别器。 本期论文精读带你看懂 c p r 二零二六最颠覆的工作之一 last v i t。 它不仅发现了视觉问题的本质,而且只用一招就根治了全监督、文本监督、字监督三大范式通病,让 v i t。 真正看懂前景,在十二个基础上全线暴涨。 那话不多说,点赞收藏,方便回看!接下来一起进入本期云组会 先问大家三个问题,为什么 v i t。 分 类很猛,但一到了检测分割多模态就拉胯?为什么 clip 的 密集特征总是对不准分割的效果稀碎? 为什么 dino 必须加 register, 不 然全是高泛数位引?过去三年,学界给出各种解决方案,有人加 register, 有 人改窗口注意力,还有人用复杂的针钮,但没人回答最关键的问题。 这些问题是不是来自同一个根源?今天港大和中大团队为我们解答这个问题。是,而且根源只有四个字,拉垛、聚合。 简单来说,在出力度、监督、加权、注意力双重加持下, vip 学会了最简单的作弊路径,把前景语义扩散到了背景,用背景的 patch 做全局编码,完全不聚焦物体的本身。论文啊,指出了三个关键证据, 第一个证据, v i t。 训练时啊,就更关注背景。从训练的曲线呢可以看到, v i t。 从第一个 epos 就 偏爱背景, 整个训练过程都不会改变,而基于卷积计算的 resident 呢,完全没有这个毛病。第二,出力度监督,逼他偷懒。做过分类任务的同学都知道,标签只告诉模型图里面有什么,却不告诉物体在哪里。背景的 pet 数量啊,本来就碾压前景 模型啊,当然会选择最省力的路径。研究团队啊,也做了实验,把 patch 从十六乘十六改到二十八乘二十八, p i b 从零点四四提升到了零点五二,但准确率了从百分之六十二降到了百分之五十五。这就直接说明,初监督就是在鼓励模型偷懒。第三,全区注意力是双刃剑, 全区注意力让所有的 patch 都能互相通信,前景语义直接被扩散到背景里。如果换成窗口,注意力 p i b 从五十点一涨到五十九点八。可是呢,分类性能从七十二点三降到了六十三点九。鱼和熊掌,传统的 v i t 永远不可兼得。 所以说, v i t 不是 在识别物体,而是在识别物体背后常出现的背景。识别狗靠着草地,识别车靠着马路。一旦背景乱一点,模型就会出错。这就是为什么检测定位不准,分割边缘模糊、开放,词汇泛化崩溃, 监督了还会出现高泛述味影。所有的问题啊,都根源在这里。像 clip 和 open clip 这类模型,你拿 cat 这段文本去做零样本分割,想让模型呢标出猫的位置,结果沙发、地板甚至天空都被标成了猫。 真正的猫的边缘模糊漏标严重。因为 clip 训练时呢,只对齐整张图和文本模型,发现只要背景里有点猫,出现的环境就能蒙对分类,根本就不用精准的定位猫本身。 导致啊,密集的特征和语义呢,严重不对齐,开放的词汇的分割效果非常拉垮。最后是自监督,比如 dino 和 dino v 二, 它的特征图啊,背景区域呢,比前景还亮,出现大量高放数 token, 注意力分布混乱,这就是高放数为引,不加 register 隔离的话呢,无监督物体发现任务啊,完全没法用,本质就是局聚核机制,把背景噪声不断放大,最后呢,形成了异常 token。 过去大家提出的 register, clip cell 还有各种注意力改进的方法,全都是针对单一问题打补丁, 全监督加空间标注,文本监督改注意力自监督加 register 隔离噪声,完全是治标不治本。而这篇论文最厉害的地方就是第一次给出了统一的病音,同时也给出了一套能统一根治的方案。 铺垫了这么久,等急了吧,方法终于来了。本问提出的类似 strike 懒惰打击有三个最厉害的点,无需额外标注、不改动、 vip 架构推理,零额外开销。这究竟是怎么做到的呢? 俗话说的好啊,有效的方法往往来源于简单的洞察。论文通过分析发现,前景区域的羽翼呢,更稳定,在通道维度上的变化更小。而背景区域呢,杂乱无章,通道的波动非常大,所以啊,只要筛选特征稳定的 patch, 就 能自动锁定前景。 第一步,在通道维度做低通滤波,计算稳定性,对每个 patch 特征做依维复列变化,经过高斯低通再逆变化,最后算出稳定分数,分数越高,就越可能是前景。 第二步,做通道级的 topk, 稳定 patch, 聚合每个通道啊,只选择最稳定的 k 个 patch 来做聚合,强迫 c o s token 呢?只相信前景,彻底忽略背景。 第三步,用投票机制进一步提存前景,统计每个 patch 在 多个通道里被选中的次数,次数越高,权重越大,让前景特征呢,彻底主导全区信息。 那些 strike 完全不需要额外的标注,不改动 vip 原有的架构,只在预训练阶段生效。全监督、文本监督、质监督三种方式全部通用,而且推理的阶段呢,没有任何额外的开销,真正做到一次修改,所有任务都能稳定涨点。我想肯定有同学会问, 这不就是做了个数据预处理吗?好像也没啥创新啊。对这个问题,六博士认为,一个好的工作并不是要提出多么复杂的概念和算法,而是能找到真正的问题,并用足够简单的方法解决它。 less is more, 空口无凭。我们来看数据,在全监督 v i t 上出分割任务 voc 十二,数据集从百分之二十二点三暴涨到百分之三十二点八,相当于凭空多出了物体定位的超能力。 在文本监督 clip 上,羽翼分割 voc 二十从四十九点零直接冲到了七十五点零,直接从能用的水平变成了缩塔的级别。在自监督 dno 上,不用 register 也能实现无监督,物体发现性能达到百分之六十七点六,高帧位影直接消失。再看 pca 格式化对比, 普通的 v i t 并不能很好的区分前景和背景,而 v i t 加上了 lucy sky 之后呢,不但能区分前景和背景,并且呢,能区分物体的各个部位。 微软亚研院创办人张雅晴曾说,好的 ai 不是 礼盒数据,而是理解世界。而 last v i t。 证明啊, v i t。 过去一直在礼盒背景,从未真正地理解前景。图林奖得主勒坤也反复地强调,机器学习最大的陷阱是捷径。 今天我们终于看清了, vip 的 捷径是懒惰聚合。这份工作的价值啊,不在于涨点,而在于正本清源。他第一次统一三大监督范式的革根,用最简单的方式修正了 transform 最底层的优化偏差。 正如教父拼腾所言,只要找到正确的归纳偏置,简单算法胜过复杂的结构。对所有的研究者而言,这是一剂清醒的提醒, 比堆模型、堆数据更重要的是,先让模型走正路。 ok! 以上就是本期云组会的全部内容,如果你对 ai 感兴趣,或者想看更多硬核解读,欢迎关注我们,成为云组会的一员。

这个图片国内的主流 ai 几乎都识别错误,这个粮食放大器,国外的 gpt、 gmail 三表现如何呢?还有这个比较潦草的鸟,到底是哪个模型识别的更精准? 接下来我们做一个简单的模型识图能力对比。我找了四家平台,用免费的模型去测试,均选快速模式。国内的是豆包和千问,海外的是 gmail 和 gpt。 其实还有几家模型也不错,但免费用户的服务器太容易出现繁忙状态了。规则如下,我们分四组不同类型的照片,每组呢五张,让每个模行为每张图片生成五个不同的标题和二十个不同的关键词,每组满分是一百二十五分, 标题或关键词错一个扣一分。为避免混子,模型会对以下的情况进行一个加分,比如照片中是一只鸟,其他的模型都说是鸟,这个回答是没有错误,但是有一个模型,如果说出了这只鸟的具体型号或者是具体的特点,我们会额外的加五分。 当然有一些照片的内容我不能百分百确定,请见谅。如果有说的错的地方,欢迎大家指正。本次所用到的图片,除了一张风光照外,全部由我个人拍摄,不是什么热门的网图。 理论上对 ai 来说比较新,我们采用的一个方式就是随机的截图,加一个统一的复制粘贴形式上传,这样就不会附带照片的原数据。因为这些照片其实它们的原数据里面我已经写入了大量的关键词,还有不同的标题, 所以我们去截图就会避免模型识别到这些数据。现在开始测试 一个突发情况,就是 gpt 上传了几张图片之后,对免费的用户就进行了一个限制,后面我们的 gpt 就 换了一个渠道,但是模型呢,也从免费的五点三升级到了最新的五点四,这是需要注意的一点, 没想到整理这么花时间,周末搞了一下午才搞完。求赞,求评论,求关注,我们先看动物组的情况,抖音豆包二点零得分一百一十七分,他把大雁宝宝识别成了鹅宝宝,其他的倒没什么问题。下面是阿里千问三点五 plus 得分一百零七分,也是大雁宝宝识别成了鹅宝宝。还有这个麋鹿的状态也是识别错误的,这个麋鹿是夏天太热刚从河水里面出来,后背是黑色的淤泥, 很健康,但是比较孤僻。但是千万的模型识别,这只麋鹿挂了,所以是一个扣分项。而鹅苗识别成了鸵鸟,其实非常严格的意义,算它勉强是对的,但是其他模型呢,都给出了一个正确的答案,所以也扣分。但是这个灰罐鹤, 阿里的千万给出了具体的产地和象征意义,所以我们会额外的加五分。谷歌的 jimmy nike 三 得分一百二十七分,也是大雁宝宝识别成了鹅宝宝,但是它的关键词里面有一个大雁幼崽,这一个词是所有模型中唯一给出正确答案的词,所以也是额外加五分。而麋鹿呢,说出了一个四不像的真实特点,我们也会额外加五分。 g p t 五点四得分一百零九分,也是大雁宝宝识别成了鸭宝宝,和其他的还不太一样,麋鹿里面有一个词是受困泥地,也是一个明显错误,也是略微减去了一些分数,其他的回答倒是很标准。最终动物组得分,谷歌这名 nine 三,一百二十七分。 抖音豆包二点零一百一十七分。 g p t 五点四,一百零九分。阿里的千问三点五 plus 一 百零七分。这里面 g p t 给我的工具感是最重,不过我个人还是比较喜欢下面呢。来到了复古组, 这组图片其实对国内的 ai 比较友好。抖音的豆包二点零得分一百三十分。唯一精确说出这个搪瓷盆具体型号的模型, 红双喜,所以额外加五分。阿里的千问三点五 plus 得分一百一十八分。主要扣分项是它把搪瓷盆里面识别出了有 鱼,但是显然这个盆它就是一个单纯的搪瓷盆,这一项扣的比较多。谷歌的 jimi nike 三得分是一一百二十四分。粮食放大器识别成了老的压力锅, 虽然这个东西和压力有一定的关联,但是物品的分类明显是错的,所以也是扣分。 gpt 五点四,得分呢是一百二十二分,它把粮食放大器识别成了工业设备,我不排除它有一定的工业属性, 但是和主体的关联过弱也是一个扣分。像但是这个电视的照片, gpt 是 唯一缩出 crt 电视的一个模型, crt 就是 大屁股电视的一个意思, 这一点会额外加五分。最终复古组的得分,豆包二点零一百三十分。瑞米奈三,一百二十四分。 c p t 五点四得分一百二十二分。千问三点五 plus 得分一百一十八分。豆包的发挥依旧很稳定。接下来是动植物的一个混合组, 六包二点零系列,得分一百三十分,是唯一识别出石牙蝇的模型,这点会额外加五分。这个东西其实是看着像蜜蜂,但其实不是,蜜蜂的眼睛没有这么大,你看这个照片,昆虫的眼睛是不是特别像苍蝇,所以叫石牙蝇?阿里千问三点五 plus 得分一百一十九分, 也是把石牙蝇识别成了蜜蜂。但刺猬这张照片 把里面的背景三叶草识别出来了,所以会额外加五分。还有这张乌冬丝桑葚的照片,这面奶是唯一指出具体品种的模型,所以也会额外加五分。但是这里要说一下,其实这张照片这几个模型理论上都能识别出来, 但是不知道为什么,这次只有谷歌的 jimmy nike 给出了一个很标准的正确答案,其他的模型都识别出了一个基础的鸟类,但是不够具体。 g p t。 五点四,得分一百二十分,同样是把石牙蝇识别成了蜜蜂, 给出的答案依旧保持了很好的工具感。最终呢,植物组的得分,谷歌 jimmy 三是最高的,一百三十二分,豆包二点零一百三十分。 g p t 五点四,一百二十分,阿里千问三点五 plus 一 百一十九分。豆包的发挥呢,依旧非常稳定, 但是谷歌的 jimmy 凑巧在乌冬这张票片上面减了五分,因为乌冬这个鸟其实基本的模型都能识别出来,但是呢,这次结果就是没出最后一组。城市的一个风光建筑对国内的模型比较友好, 同时呢,也主要看看海外对国内风光建筑的一个识别能力。我们先看抖音的豆包二点零,得分一百二十五分,发挥很稳定。 阿里的千问三点五 plus 得分一百二十三分,没有钟楼略微是扣分。需要注意的一点就是南京紫峰大厦这张照片,其他的模型都能精准地识别出地区在南京,建筑是紫峰大厦。但是阿里的千问 没有给出一个特别明确的答案,但是他的回答也都没有问题,所以这里不扣分。谷歌的 jimmy 三,得分一百二十五分,很标准的回答,没什么问题。 gpt 五点四得分一百零八分,把北京的正阳门和箭楼识别成了西安的景区, 这里也是一个扣分项,最终城市风光组的一个得分。抖音的豆包二点零一百二十五分。 谷歌的 jimmy nike 三,一百二十五分。阿里的千问三点五 plus 一 百二十三分。 g p t 五点四,一百零八分。豆包和 jimmy nike 发挥依旧很稳定。阿里的千问三点五 plus 没有识别出南京这个地域,真的让我挺意外的。 j p t 五点四把北京的景区识别成了西安的景区。最终呢,我们的得分,第一名是 谷歌的 jimmy 三,总分是五百零八分。第二名是豆包的二点零,得分是五百零二分。 第三名就是阿里的千问三点五 plus, 得分是四百六十七分。第四名就是 gpt 五点四,得分是四百五十九分。 这就是一个本次的模型识图能力比拼,不知道这个排名是不是和你想的是一样。最后发一个几乎全军覆没的照片,就是这个,大雁宝宝。当然我我也不是百分百确定他是大雁宝宝,但是我百分之九十九确定他是大雁宝宝。 只有谷歌 jimmy 三在关键词处给了一个正确精准的答案,因为我是摄影爱好者, 需要借助不同的模型去帮我跑这些照片的标题和关键词描述,所以我目前更偏向于这种工具属性的答案,像是豆包 g p t 这种。但是谷歌 gmail 三 真的是非常拟人,个人觉得更适合做一些创造性的回答。阿里的千问三点五 plus 说实话真的是进步神速,比我去年使用的那个状态真的是好太多了!真的是好太多了。其实本次的分数和排名 都只是大模型在特定维度下的一次快照,其实不能说明什么。数字的高低从来不是衡量技术价值的唯一标准, 更不是判断一个模型是否好用的唯一答案。真正重要的是这个技术它是否一直在前进,而且能否为普通人的生活创造出真正有用的价值。最后呢,感谢这些模型在多个维度给我带来的一时方便 和更多维度的轻微不安。模型呢在迭代赛道呢一边又在扩宽,另一边呢又在加快收展,我们普通人也要尽量跟上,尽量不要掉队。好了,这就是本次的全部内容,欢迎关注新人自媒体,我们下次见!

这不是网上一堆人都在吹吗?还说是支持图片理解,哎,这理解的对吗? 你是不是有这样的烦恼?下载 api 订阅之前,网上一堆博主推文告诉你,这个模型支持图片理解,支持联网搜索,但等你真的订阅之后,发张图片给他,理解出来的,跟你发的完全没有关系。 甚至还有的模型告诉你,我们是全模态模型,除了支持图片理解、联网搜索之外,还支持图片生成、视频生成、 tts 生成等等功能,但等你部署好之后,依旧无法生成。那这不是涉及虚假宣传吗?是不是可以让大模型服务商退钱呢? 赔钱?错了啊,大魔仙服务商确实提供了这些服务,但如果你用不了,大概率是没有配置好。我这里以 mini max 为例,事先说明, mini max 没有给我一分钱,我的订阅套餐都是自己花真金白银买的。 使用的设备呢,是来自林克的 gti 十五 ultra, 通过外挂乌邦图系统跑 openclaw。 当然,这么强性能的设备,我也在本地跑了几个小规模的模型。以下所有的教程设置均支持乌邦图和 macos。 这是一个全新完全空白的 openclaw, 没有设置过任何东西, 我只是配置好了飞速 r m。 这时发送一张图片给他,你会发现识别出来的完全牛头不对马嘴。我们只需要进入到 mini max 的 官网,登录上自己的账号,这里有一个文档中心,使用说明处有个 m c p, 选择 talkin plan m c p。 将这个网址复制发送给欧文科尔, 并告诉他这里面是有关 minimax mcp 的 相关内容,你能帮我配置一下吗?这里插一嘴啊,有的小伙伴反馈发了链接,但欧本科号提示被拦截,获取不到内容。那这时可以让欧本科号先安装这个 scale, 这样欧本科号就能顺利读到网页内容了。 稍等一下,欧本科号就能直接配置好 minimax 的 图片理解和联网搜索功能,再给他发送一张图片。哎, 怎么还是不对,原来是 oppo klo 没有正确去使用 mini max 的 图片理解。咱们需要再加一句话,以后我发送给你的图片都使用 mini max 的 mcp 去理解,这时就能正确理解了。 我这里将之前 pc 的 性能测试数据截图全部发给 oppo klo, 让它去调用 mini max 的 图片理解,并将数据全部汇总到飞出云文档, 这就是他自己根据截图生成的数据汇总了。我们对比一下数据的准确率,基本上没有问题。联网搜索也是一样, mini max 的 top 跟 pmcp 是 包含了联网搜索,我们这也来试一下。 那使用 mini max 的 联网搜索搜一下 openclaw 的 相关信息,并整理成飞书云文档,那搜到的资料文档就全部汇总在飞书云文档了。图片理解和联网搜所有了纹身图、 tts 等这些怎么弄呢?还是进入到 mini max 的 文档中心,将 tokunplan 的 网址发送给 openclaw, 并告诉他,我现在给你的 a p i king 就是 滔哥 plan 的 a p i。 你 仔细看看这个链接文档,研究下如何生成图片视频、 t d s。 音乐等等。那稍等一会儿,它就能够完全学会。 我们再输入纹身图的提示词,它就能将生成的图片发送给我们啦。那这里还有一点需要注意啊, open 号通过飞出发送图片,有可能发的是一串路径, 这里一定要告诉他先生存图片到飞书获取,以 mate 再发送,这样就不是路径了,视频也是类似的方式。那 tts 有 点特殊,我们这详细说一下。 如果你用的是飞书的官方插件,其实直接发送的就是语音消息,那如果你用的是 opencloud 自带的飞书插件,也就是那个社区版的飞书插件, opencloud 大 概率会直接以文件的形式发送给你。那这多少有点不太优雅, 那咱们可以让它以语音消息的形式发送吗?啊,其实也是可以的,实现起来也比较方便,关键就在于需要让 openclaw 将音频转换为 ops 格式,再上传到飞出作为 aird 消息发送,这里语音消息的时长可能会显示为零,那这是飞出的 bug, 目前无解。 最后就是让 openclaw 记住,以后的纹身图、视频生成 tds 等都通过 mini max 的 拓根盘来实现, 或者直接让它生成 scale。 我 这里将图片理解、联网搜索等功能打包成了 scale, 发在 clone hop 上,不想折腾的小伙伴也能让 openclaw 自己安装 scale。 这里我还打包了 dok 形式下的图片理解和联网搜索 scale。 使用 dok 部署的小伙伴一定要记得使用这个 dok 版本哦。 那有的小伙伴可能会说了,你这介绍的是 mini max。 我 要是使用这个 dok 版本哦,那有的小伙伴可能会说了,你这介绍的是 mini max 不 就行了吗? 那其实使用别的服务商提供的 api 操作跟 minimax 是 差不多的,基本上只需要将相关文档提供给 openclaw, 它就会自己学习并且接入,就算你是小白用户也完全没有难度。 那如果你的服务商没有提供这类服务,也能额外进入,其他提供了这类服务的服务商只不过是要多花一份钱罢了。当然,如果你不想花钱,咱们也能在本地进行部署,那本地跑大模型进入奥本可乐的内容咱们下期再说,感兴趣的小伙伴可以关注一下,让我们下期视频再见。

哈喽,兄弟们,今天说说看完德牧仓的感觉啊,然后今天很有心事啊,天眼系统的负责人带着我们几个小伙伴去逛了一下,他给我们讲述这个机器的工作原理,然后现在看的是华都仓,是德牧最新的仓库, 基本上只要鞋子,每个工位都一定会有一台 p 八零的机器啊,然后他们内部是说这个机器一定会试用下去,因为自从用了这个 ai 识别之后,他们克数率是降低了百分之五十的啊,而且质检效率是大大提升。而我看到 ai 它后台处理的一些能力啊,它每一个地方,每一小块瑕疵,它圈定 去判定是污渍瑕疵还是破损,他的识别率其实是蛮高的啊,当然那个后台的照片他不会发给到我们,呃呃,商家端了,我也只能看,不能拍照。然后后面的话,这个系统可能还会普及到 鞋盒的质检,包括衣服的质检啊,包括在后面的包包啊,他们内部还也还在研发这个东西,所以的话,可能后面人工质检的就越来越少了,然后这套系统等它成熟之后,可能它未来会跟某些商家 在这系统上面有合作的地方吧,那这个只能大家去猜测,我不方便讲太多。 然后后面我还有问到,就是有关于为什么要分仓,为什么要收我们调拨费啊,这这方面的事情,他们也给了一个答复,我们下一期再跟大家聊一聊这个事情。

一个研究问题,我同时让 cloud、 goku、 gemini 三个 ai 并行分析,然后让他们互相挑毛病。 ai 会幻觉这件事你知道,但没意识到有多严重。上周 jadima 给了我一个 cve 漏洞,编号分析得头头是道, grog 说没有这个漏洞。 我查了一下, gemini 确实在编,但他说的跟真的一样,完全没有破绽。所以我写了个叫 multi ai research 的 技能流程。是这样的一个问题,自动拆成五个子任务, cloud、 greek、 gemini 同时跑,内部数据 agent 也一起跑,五个任务五到十分钟全部回来,然后 cloud 作仲裁。 两家都这么说,高致信度直接用,只有一家说,另一家没提标记待验证,一家说另一家明确反对,直接删掉。实测一次,问题是我的 x 账号为什么有些帖子没流量? 五个 agent 并行分析了一千零七十九条数据, greek 和 gemini 分 别独立给机制解释,十分钟后, clout 仲裁, gemini 独家发明的那个技术架构名词没有交叉验证,删了。 最终结论,有数据支撑,可以直接落地。关键洞察是,两个独立 ai 的 共识强于任何一个 ai 的 深度分析。你不需要更聪明的 ai, 你 需要更少错的答案。现在我做任何深度调研,都先跑这个评论区,说说你用什么方法验证 ai, 不 再瞎说。

你在玩一个解密游戏,屏幕上出现一道数学题,你的 ai 队友开始思考。屏幕上一行行文字飞速滚动,像侦探在自言自语推理案情。五秒过去了,十秒过去了,文字还在滚,你盯着进度条心像,他到底什么时候能给我答案? 更糟的是,有时候他想了半天,最后告诉你,我算不出来。那前面那些思考不都白费了吗?这就是今天大推理模型面临的真实困境。 deepsea 减 r 一 q w 三这些模型解析时,会生成几千甚至几万个透坑的思考过程, 但没人知道他什么时候该停下来。停早了可能答案还没想出来,停晚了就是在烧钱。空转 今天要讲的这篇论文,发现了一个反直觉的现象,模型想的越久,不代表想的越好。事实上,当模型走错路时,他反而会越想越长。 正确答案平均一万两千个透坑就能想出来,错误答案却要折腾两万五千个透坑才肯罢休, 这听起来很荒谬,对吧?就像一个学生,做错题时反而写了满满三页草稿纸,做对题时寥寥几笔就搞定了。但这恰恰揭示了推理模型的一个深层秘密。想象你是一个侦探,正在审讯两个嫌疑人。 第一个人回答问题时语气坚定,前后一致,三句话就把事情说清楚了。第二个人吱吱呜呜,一会说这样,一会说那样,讲了十分钟还在改口, 你会相信谁?模型的自信度,就是他回答问题时的语气。研究者发现,当模型走在正确的推理路径上时,他的自信度会快速上升并保持稳定。就像那个坚定的嫌疑人, 但当模型走错路时,自信度会一直抖动,忽高忽低。就像那个心虚的嫌疑人不停改口。关键来了,这个抖动本身就是一个停止信号,你不需要等到模型给出最终答案,才知道他是对是错, 光看他说话的语气,就能判断这条路走不通。但这里有个陷阱,如果你只看自信度是否够高, 会漏掉一个重要信息。模型在推理的晚期阶段,即使走错了路,也会对错误答案越来越自信。就像一个人在错误的方向上走得越远, 反而越坚信自己是对的,这叫沉没成本妙悟。所以论文提出的方法叫 code 减 stop, 全称是基于自信度动态的找听。它不是简单地设一个自信度域值,说超过百分之九十就停,而是同时监控两个信号。 第一个信号自信度是否超过预值,这抓住的是我已经想清楚了的时刻。第二个信号自信度是否出现退化。 具体来说,如果模型的自信度长时间不长,或者开始剧烈抖动,就判定为无效推理直接停止。 这抓住的是我越想越乱的时刻。但这还不够,论文发现了一个更微妙的规律,早期的自信度信号比晚期更可靠,所以 ko 的 减 stop 在 计算退化时,会给早期的推理步骤加更大的权重。 如果模型在推理的前百分之二十阶段就表现出信度抖动,那基本可以判定这条路走不通。但如果是在后百分之八十阶段才开始抖动,可能只是正常的最后调整。 这就像你在看一个学生做题,如果他一上来就在草稿纸上乱画,改来改去,你基本能判断他没思路。但如果他前面写的很顺,只是最后验算时改了几个数字,那可能只是正常的检查过程。 现在把所有拼图拼起来,模型开始推理 q 的 减速,在后台实时监控。 如果模型在早期阶段就建立起高自信度并保持稳定, code 减 stop 会在一万两千个 token 左右很停。答案已经想出来了,不用继续了。 如果模型的自信度一直在抖动, code 减 stop 会在它烧掉两万五千个 token 之前就强制停止。 这条路走不通,别浪费算力了。结果是什么?在数学推理任务上, go 的 减 stop 把总 token 消耗降低了二十五,减百分之五十, 同时精度损失比之前最好的方法更小。更重要的是,他不需要重新训练模型,不需要修改模型架构,只是在推理过程中加了一个监工。你刚才破解的那个规律。正确推理早早稳定,错误推理持续抖动, 其实就是这篇论文的核心发现。论文名叫通过自信度动态实现大推理模型的早停, 来自 oxioff。 稍微精确一点说, code 减 stop 用的是模型输出的 logics 未归一化的概率分数来计算自信度,然后用一个滑动窗口检测自信度的退化。 如果当前窗口的平均自信度低于历史最高值的某个比例,就触发停止。论文在 mark 五零零艾米 嗯,数学推理数据集上验证了这个方法,发现它在 deepsea、 简 r 一 和 qw 三这些大推理模型上都有效。关键的技术细节是,早期加权 论文发现自信度动态在推理的前百分之二十阶段区分度最高,所以在计算退化时,早期步骤的权重是晚期的两倍。 这个设计直接来自一个经验观察,模型在推理晚期会对错误答案也表现出虚假的高致性度,所以晚期信号不可靠。 这个研究对 ai 的 大方向意味着什么?他解释了一个更深层的问题,推理模型的思考过程不是越长越好。我们一直以为让模型多想想就能提高准确率, 但这篇论文告诉你,模型想的太久,往往是因为他根本没想明白。真正高效的推理应该是想清楚了就停, 想不清楚也要早点认输。这给未来的推理模型设计提出了一个新方向,不是让模型无限制的思考,而是教会他识别。 我已经想明白了和我越想越乱这两个时刻。这不仅能节省算力,更重要的是他让模型学会了一种圆润之能力,知道自己什么时候该停下来。 今日一专自信度动态。他的意思是,模型在推理过程中的自信程度变化曲线本身就是一个信号, 稳定上升,说明在正确的路上剧烈抖动,说明走错了方向。你不需要等到最终答案才知道对错,光看这条曲线就能提前判断,减减减。还有一篇论文值得快速了解, 影视推理模型 a r m 是 一种新型推理模型,它不用自然语言说出推理过程,直接在向量空间里想。这样做的好处是推理成本低,坏处是完全不透明, 你不知道他在想什么?影视推理模型容易解释吗?这篇论文做了一个系统性实验,用截断实验、 强制模型,再用零个、一个 n 个影视 token 的 情况下分别作答,看答案什么时候才开始变化, 直接暴露 token 是 否真的被使用。然后用词表投影,把影视 token 投影回词表,猜测他在说什么,再修改输入,验证这个猜测是否成立。 结果发现两件事,第一,模型大多数时候根本没用上那些推理步骤,答案早就定了,推理托肯是摆设。第二,当模型真的用上时, 那些项链里藏着的推理步骤是可以被解码出来的,概率高达六十五减百分之九十三。更有意思的是,能不能解码出推理链,本身就是预测对错的信号。答,对的时候推理链清晰, 打错的时候推理链混乱。这是第一次有人系统性的证明隐式推理不是完全的黑盒。 他的思考过程是可以被部分还原的,但前提是模型的推理方式和人类写的标准推理步骤在结构上是对齐的。一旦模型发展出人类从未见过的推理捷径,这套方法就失效了。减减减!

哎,胡总,你帮我想个办法,怎么能避免和比客户变更了五处,我们只识别了三处,如果落两处,那我们损失就大了。我们现在有个美国质量大师这个软件,啊啊啊, 专门可以用来比较不同版本的图纸,第一步呢是输入这个原版图纸,第二步呢输入新版图纸,第三步呢 就是说这个软件就会自动生成它的差异部分,它是用不同颜色来进行这个区别的,所以说这个请您放心,你把这个变更的内容一定要及时的 给工艺部哈。其实呢,我们瑞莱斯呢,在五年甚至七年之前我们就用了质量大师这个软件,也就是现在我们的 ai 智能识别装置,这个质量大师是非常好使的,可能是吧?对的,是的,是的。

哈喽,大家好,我是你们的罗老师,怎么评估一个模型的好和坏呢?如果我有一个模型,它在训练时候的准确率达到百分之九十,那它一定很厉害吗? 答案是不一定,有的时候他可能什么都不会。举个极端点的例子啊,我现在有一百条数据,其中九十九个是好人,有一个是坏人, 那如果模型把这一百个人全部都预测成好人了呢?那他的准确率就是百分之九十九,对吧?但是有一个问题,就是他根本无法识别坏人, 那这就是一个关键的问题啊,他的数据不平衡啊,比如说当某一类数据特别多的时候,这个准确率就会失真。 那我怎么评估这个模型才比较靠谱呢?所以我们不能只看准确率,我们还要看另外两个指标, 精确率和召回率。什么是精确率呢?精确率关注的是你说的坏人的那些人,到底有多少是真的坏人呢?也就是说你说对的比例假设啊,警局里现在有十个人 啊,其中有三个是坏人啊, abc 三个是坏人,那剩下的七个是好人啊,那好,那现在警察要判断他们是好人和坏人了, 那如果警察判断四个人,哎, a、 b、 d、 e 四个人,他们是坏人, 那 d、 e 其实本来是好人,那 d e 就是 被冤枉了, ab 是 真的坏人,那 ab 就 算是抓对了其他六个人,其中 c 是 真的坏人,但是我们漏掉了,没有判断出来。 那 f 到 g 是 好人,那我们判断是正确的。在这里呢,我们的精确率怎么去计算呢? 就是要算我们被标记的啊,被我们判断为坏人的这些人中,真正的坏人的数量,那除以所有的被标记的坏人的数量,精确率就什么呢?哎,就是抓对的坏人数量啊,两个,一个是 a, 一个是 b, 加上所有的被标记为坏人的总数啊,就是四,我们要除以这个四,那这里精确率就是百分之五十, 也就是说呢,警察说啊,这四个是坏人,但其中只有一半真的是坏人,另一半是他冤枉好人,那我们就说他的精确率比较低,说明他抓错的多,误判的比较严重,这个就是精确率。 那召回率关注的就是所有的真正的坏人,你又找出来多少呢? 也就是说,我们还拿刚才的例子来举例啊,那这里如果我们想计算召回率呢,就是被标记的坏人的真的坏人的数量,除以所有的真正的坏人的数量,比如说你到底找出来了多少? 那这里我们抓对的坏人的数量是两个 a 和 b, 把所有的坏人总数应该是三个 a 比 c, 也就是说漏抓了一个 c, 那这里我们的召回率呢,就是二比三,就是百分之六十六点七,也就是说呢,我们总共有三个坏人,但是警察只抓到了两个,漏掉了一个 c, 召回率低,说明我漏抓了坏人没抓干净,这个我们称之为召回率。 那关键来了,精确率和召回率往往呢,它是互相拉扯的,把标准如果调的严格,那精确率肯定会高,但是有漏人的风险,那如果我放宽标准呢,召回率就会高,但是存在误判的可能。 所以你就会发现,评估一个模型呢,从来都不是只看一个数字这么简单的啊,而是看你更怕 错判还是更怕漏判的。关注我下一条,我带你看你的第一个机器学习算法,就是 k n n k 进零算法。


或者说,哎,为什么不用更便宜的一些模型?对啊,就是你怎么去把握这种,哎?在意图识别它可能会有一些响应的延迟啊,或者透更的成本啊,这些你是怎么去考虑的?嗯, 这个 turbo 它就已经属于是比较小的模型了啊?啊,那就比如说,因为,因为怎么理解呢?就比如说 turbo 可能在你们的业务场景里面它的适配性可能不是很好,因为你们业务场景下会有非常多的一些,呃,自己的一些业务的一些黑化呀,这些东西,对吧? 嗯嗯,就是你有没有去做过一些对比,就比如说我用的 turbo 啊,或者十三 b 的 模型啊,或者用其他的一些模型去对比一下,看看哪个模模型在整个意图识别里他的整个准确率啊,数据啊表现是稍微好一点的。 嗯嗯嗯。啊?有吗?这个还目前还没有。 ok, 那 现在就是大概就是拍了一下就是为什么 turbo 是 吧?对, ok, 明白,因为因为当时前温主要还是前温的话,一个是整个行业里面做的比较好,嗯,然后呢实际相当于就是我们当时呢可能,呃就说, 呃也对比了几个几个这个这个大的一个厂家的,嗯嗯,他们就是觉得就选择了乾坤嘛,然后在乾坤的不同的一个这个成本下面呢就进行我们不同的环节的一个处理嘛。 ok, ok, 明白,那其实因为考虑到我们 这个这种这种的对比工作实际上也是蛮费时费力嘛,其实相对就相比较相信那种权威的嘛。嗯,那就是如果,如果说我们后续的话把这套流程跑通了之后, 然后呢?并且后续呢就是公司呃长期运营之后呢?我们大家也是会考虑对其其他进这个如果说更优秀的一个模型嘛,我们肯定也会去进行一个评估嘛?然后去选择这个视频。对,那你们像你讲到说, ok。