00:00 / 01:04
连播
清屏
智能
倍速
点赞3
00:00 / 08:35
连播
清屏
智能
倍速
点赞145
00:00 / 00:32
连播
清屏
智能
倍速
点赞13
🔥繁蝉3周前
从熵到认知复杂度:理解AI信息的新视角 传统信息论(Shannon熵、Kolmogorov复杂度)在AI时代遇上三大悖论: 确定性计算无法“创造”信息? 可AlphaZero从简单规则学出超人策略,合成数据提升模型能力,细胞自动机产生复杂结构——现实却在天天“造信息”。 信息与数据顺序无关? LLM正着读英文比倒着读好,棋谱“棋盘→走子” vs “走子→棋盘”产生完全不同的结构信息。 最大似然只是分布匹配? 模型能从简单生成过程学到生成过程本身不存在的结构:归纳(隐藏变量推理)、涌现(Conway生命游戏的“物种”)。 这篇论文提出epiplexity(认知复杂度)——计算受限观察者能从数据中提取的结构信息(模型程序长度),与“时间有界熵”(随机不可预测部分)互补。 它不是抽象定义,而是可测量的:通过prequential/requential编码,用神经网络损失曲线面积或KL累积估算。实验证明: ECA Rule 54(Class IV)产生高epiplexity,Rule 30只产随机噪声; 棋谱反向排序epiplexity更高,OOD任务(棋谜、估值)性能显著提升; 归纳与涌现场景下,模型程序远比生成过程复杂。 核心价值:首次为数据选择提供理论基础。数据枯竭时代,epiplexity告诉我们该选、该生成、该排序什么数据,才能让模型获得更多可复用结构,实现广义OOD泛化。 这不是又一个指标,而是把AI从“无限计算假设”拉回现实,为合成数据、数据策展、涌现现象给出统一框架。 arXiv: 2601.03220
00:00 / 09:25
连播
清屏
智能
倍速
点赞27
00:00 / 13:33
连播
清屏
智能
倍速
点赞5104
00:00 / 00:03
连播
清屏
智能
倍速
点赞1
00:00 / 00:29
连播
清屏
智能
倍速
点赞9
00:00 / 03:32
连播
清屏
智能
倍速
点赞4
00:00 / 04:44
连播
清屏
智能
倍速
点赞616