00:00 / 01:56
连播
清屏
智能
倍速
点赞7
Qiuming1天前
主动注入标签噪声何以成为提升模型泛化的“密钥”? 主动注入标签噪声何以成为提升模型泛化的“密钥”? 在AAAI 2026上发表的一项突破性研究,挑战了“纯净数据是AI训练关键”的传统认知。研究表明,在训练过程中主动为数据标签添加噪声,非但不会损害模型,反而能显著提升其泛化能力。 上海交通大学的研究团队通过分析使用“标签噪声SGD”算法训练的两层线性网络的学习动力学,揭开了这一反直觉现象背后的奥秘。该算法将随机梯度下降与主动以一定概率随机翻转部分训练标签相结合。 理论核心揭示了一个双阶段进化路径: 跳出“惰性”舒适区: 标签噪声会引起第二层神经元的持续震荡,进而驱动第一层神经元权重的范数(大小)逐步衰减。这一过程迫使整个网络摆脱权重几乎不变化的无效“惰性学习状态”,进入更具探索性的“丰富学习状态”。 对齐与稀疏化: 进入丰富状态后,神经元权重快速向优化目标方向对齐。模型最终收敛到一个稀疏解,即只有部分权重较大的神经元成为核心贡献者,效果不佳的神经元被自然筛选淘汰。这种稀疏性被确定为提升泛化能力的关键。 在ResNet-18和CIFAR-10数据集上的实验显示,模型测试准确率平均提升了1.5%。此外,该机制即使在SAM(锐度感知最小化)等其他优化器上也表现有效,表明了其广泛的适用性。 这项工作为噪声鲁棒性学习奠定了理论基础,并为在实践中提升模型泛化能力提供了新颖而简洁的思路。未来研究方向包括将框架拓展至非线性网络和更广泛的分类任务。 https://openreview.net/pdf?id=KfsMlrl81a https://github.com/a-usually/Label-Noise-SGD
00:00 / 03:01
连播
清屏
智能
倍速
点赞0
00:00 / 00:30
连播
清屏
智能
倍速
点赞25
00:00 / 01:38
连播
清屏
智能
倍速
点赞1806
00:00 / 01:06
连播
清屏
智能
倍速
点赞26
00:00 / 01:43
连播
清屏
智能
倍速
点赞316
00:00 / 00:55
连播
清屏
智能
倍速
点赞13