00:00 / 01:11
连播
清屏
智能
倍速
点赞69
00:00 / 00:55
连播
清屏
智能
倍速
点赞33
2026-MR002 主题: KL 散度:一场从物理空间到信息流形的穿越 原本以为 KL 散度 (Kullback-Leibler Divergence) 只是一个枯燥的损失函数,没想到把它放回正交曲线坐标系里一看,整个世界观都打通了。 关键词: (1)Kullback-Leibler Divergence; (2)Fisher Information Matrix; (3)Lamé Coefficients; (4)Orthogonal Curvilinear Coordinates; 🗺 复盘: 一场从物理空间到信息流形的穿越。 📐 Step 1:造尺子 先忘掉直角坐标系。在弯曲的高维参数空间里,直线距离失效了。我们需要度量张量和拉梅系数,它们是丈量弯曲世界的唯一“比例尺”。 🌊 Step 2:看流动 流体力学里的散度,通过连续性方程描述了物质如何“散开”。这是微观的物理机制,决定了“路怎么走”。 ⚖️ Step 3:悟信息 进入概率空间,KL 散度成了衡量信息损失的“天平”。最震撼的一刻是发现:当分布差异极小时,KL 散度的二阶项(费舍尔信息阵)竟然直接坍缩成了黎曼几何里的度量张量! ——原来统计学的尽头,真的就是几何学。 🤖 Step 4:控智能 终于看懂了 ChatGPT 训练的本质: (1)Pre-training 用 Forward KL,目的是“博学”(覆盖所有可能性); (2)RLHF 用 Reverse KL,目的是“克制”(锁定人类偏好)。所谓大模型对齐,本质上就是用几何弹簧把 AI 拴在人类语言的流形上。 🌌 【深夜哲思】 看着这些公式,突然觉得人生也是一场高维流形上的随机游走。 Forward KL (前向散度) 是我们的好奇心,它驱使我们去 Mean-seeking,去覆盖未知的长尾,去体验世界的混乱与广博,哪怕会犯错,也要尽可能“博学”。 Reverse KL (反向散度) 是我们的社会化,它教导我们 Mode-seeking,去寻找那个被社会规训认可的“峰值”,去剔除杂音,保持安全与正确,但代价是丧失了可能性的广度。 一个真正成熟的智能体(或人),大概就是在 Forward KL 的探索欲与 Reverse KL 的克制力之间,寻找着那个微妙的平衡点。 #KL散度 #AI@🌈*🌈大顺 @huzf @
00:00 / 07:12
连播
清屏
智能
倍速
点赞31
00:00 / 01:16
连播
清屏
智能
倍速
点赞NaN
00:00 / 05:23
连播
清屏
智能
倍速
点赞14
《梯度、散度与旋度;从山势、喷泉到涡旋》 加我V hezkz17可申请加入无线电系统研究开发交流答疑群课题组领取项目资料 通俗地说,梯度是个“向导”,告诉你站在山的某处,朝哪个方向爬坡最陡、上升最快 。它的大小代表陡峭程度,方向直指海拔增加最快的路 。在物理学中,电场强度就是电势的“负梯度”——电势降低最陡的方向,就是电场线的方向 。数学上,它对一个标量场(如温度、高度)求偏导,结果是一个矢量 。 散度是个“计数器”,衡量某一点是“喷泉”还是“渗漏” 。想象封闭曲面内有个点:水喷涌而出(净流出)则散度为正,是源;水渗漏消失(净流入)则散度为负,是汇 。静电场中,正电荷处散度为正,负电荷处为负,这正是麦克斯韦方程的核心思想 。数学上,它计算向量场在各方向上的分量变化率之和,结果是一个标量 。 旋度是个“转速仪”,检测流体的旋转强度 。将小桨轮放入水中,轮子转得越快,说明该点旋度越大;旋度方向由右手定则确定,即涡旋的轴方向 。磁场就是典型的旋涡场,电流周围磁场旋度不为零 。数学上,它是对向量场求一种特殊的偏导,结果仍是一个矢量 。 总之:梯度作用在标量场上输出矢量(方向向导),散度作用在矢量场上输出标量(源头标记),旋度作用在矢量场上输出矢量(旋转度量)。若对场论深层逻辑感兴趣,推荐H.M.斯彻的《散度、旋度、梯度释义(图解版)》,它用丰富图表帮助建立直观的数学图像 。
00:00 / 02:04
连播
清屏
智能
倍速
点赞38
00:00 / 09:03
连播
清屏
智能
倍速
点赞3
00:00 / 13:22
连播
清屏
智能
倍速
点赞11
00:00 / 03:25
连播
清屏
智能
倍速
点赞60
00:00 / 00:33
连播
清屏
智能
倍速
点赞NaN
00:00 / 29:46
连播
清屏
智能
倍速
点赞0
00:00 / 14:28
连播
清屏
智能
倍速
点赞NaN
00:00 / 18:25
连播
清屏
智能
倍速
点赞184
00:00 / 01:06
连播
清屏
智能
倍速
点赞37
00:00 / 09:48
连播
清屏
智能
倍速
点赞10
00:00 / 22:43
连播
清屏
智能
倍速
点赞10
00:00 / 25:32
连播
清屏
智能
倍速
点赞1060
00:00 / 41:30
连播
清屏
智能
倍速
点赞14
00:00 / 03:22
连播
清屏
智能
倍速
点赞1