00:00 / 14:56
连播
清屏
智能
倍速
点赞NaN
跨模态知识蒸馏再超神!非配对模态也能高效蒸馏? 跨模态知识蒸馏基本可以确定为2026年科研的热门方向之一了,在最近放榜啊AAAI2026上也是大放异彩了!AAAI2026上,浙江实验室、中科院计算所与香港大学联合团队提出的非对称跨模态知识蒸馏ACKD及配套框架SemBridge,为跨模态知识蒸馏研究开辟新方向,成功突破传统对称跨模态知识蒸馏对配对数据的强依赖限制,解决弱语义一致性场景下知识传输成本高、模态对齐难的核心痛点,成为遥感等跨模态学习领域的重点探索方向。 从实际科研角度上看,SCKD虽在配对模态任务中表现优异,但受限于教师模态采集成本高、数据稀缺的现实问题,难以适配真实场景中大量非配对模态的知识迁移需求;而ACKD通过放松语义对齐约束,允许不同来源、弱语义关联的模态间进行知识蒸馏,但随之带来的传输成本激增问题严重影响性能。Sem Bridge创新集成学生友好匹配与语义感知知识对齐双模块,在自研的 S2SEU、S2SCN、M2SGL三大遥感基准数据集上,适配ResNet34、MobileNetV2 等6种模型架构,使VanillaKD等7种经典方法的分类精度显著提升,其中在M2SGL数据集上OA值最高达 96.6%,同时解决了异架构模态迁移的适配性问题,为弱语义跨模态学习提供了高效解决方案。 #跨模态知识蒸馏 #知识蒸馏 #ACKD #顶会论文 #sci论文
00:00 / 01:29
连播
清屏
智能
倍速
点赞33
00:00 / 08:02
连播
清屏
智能
倍速
点赞NaN
00:00 / 00:52
连播
清屏
智能
倍速
点赞226
大模型的第一性原理:信号处理视角解析 华为2012实验室理论研究部主任白铂博士从信号处理角度解析大模型原理,指出大模型将自然语言处理问题转换为信号处理问题,语义向量化是这一转换的关键。 语义向量化:从概率空间到内积空间 语义向量空间可建模为M维单位球面上的概率-内积空间。每个Token对应球面上的一个点,向量的相对关系(内积)而非向量本身代表语义。这种表示大幅降低了计算复杂度,使反向传播训练成为可能。 语义向量空间距离可通过Gromov-Wasserstein距离度量,该距离衡量了两个度量-概率空间之间的结构差异。当距离为零时,两个语义空间等距同构,意味着两种语言在Token层面实质相同。 语义压缩与JL引理 Johnson-Lindenstrauss引理为语义压缩提供理论支撑:存在线性变换可将高维语义向量压缩到低维,同时保持内积误差小于ϵ。结合语义向量稀疏性,可发展基于FFT、DCT的快速压缩算法。 最优语义向量化应最大化条件互信息,即编码Token序列中对预测下一个Token有用但不在当前上下文中的信息。Contrastive Predictive Coding算法通过优化InfoNCE损失函数逼近这一目标。 Transformer:非线性时变向量自回归模型 从信号处理角度看,Transformer是非线性时变向量自回归时间序列。其非线性体现在softmax函数和语义非对称建模,时变性体现在Attention权重与输出位置相关。 Transformer的数学形式可推广为: ui=argsoftmaxT1(u~m,Ψ(j=1∑i−1Aijuj))m=1:M 其中Ψ为非线性函数,Aij为时变参数矩阵。这种广义框架为设计新Attention机制(如Mamba的线性化简化)提供了理论基础。 计算与通信的桥梁 BIT连接了计算理论(关注时间复杂度)与信息论(关注通信极限)。在AI时代,Token取代BIT成为新核心,信息论原理通过信号处理方法得以在大模型中实现。 大模型通过预测下一个Token实现Granger因果推断,其本质是将基于概率的自然语言处理转换为基于数值计算的信号处理问题。这种转换使得传统信号处理工具能有效应用于AI模型设计与分析。
00:00 / 12:46
连播
清屏
智能
倍速
点赞3
00:00 / 03:27
连播
清屏
智能
倍速
点赞12