00:00 / 03:46
连播
清屏
智能
倍速
点赞NaN
深度学习:一个被判死刑的算法,如何靠游戏显卡逆天改命? 你花了二十年搭一座塔,每多一层,它应该更聪明。第三层,能认边缘;第五层,能认纹理;第七层,该认出一张脸了吧? 结果第七层搭上去的那一刻,整座塔变成了一堆不会学习的废铁。 2006年,多伦多。杰弗里·辛顿——神经网络最后的信徒之一——坐在堆满"Rejected"论文的办公室里,追踪反向传播的信号流。他发现了一件恐怖的事:从输出层到输入层,信号每穿过一层就大幅缩小。七层之后,梯度不到百分之一。底层的神经元根本听不见老师的声音。 就像你站在长走廊的尽头喊话,每转述一次声音就小一半。到第七个人,只剩一片模糊的嗡嗡声。 罪魁祸首是Sigmoid——那道每一层都要过的"关卡"。它把所有信号往中间压,每过一次最多只放过四分之一的强度。两三层没事,五六层之后梯度就趴在地上了。这不是bug,是结构性缺陷。换激活函数?试了。换初始化?试了。全部失败。 直接训练深层网络,用现有的工具,走不通。 但辛顿不肯放弃深度。因为浅层网络的天花板他看得一清二楚——两三层只能学到边缘和简单纹理,要认出猫、认出人脸,深度不是可选的,是必须的。 他站起来在办公室走了一圈,走过那台嗡嗡作响的台式机,走过角落里学生的游戏电脑——机箱透明,显卡亮着一道绿光。他没多看一眼。 他不知道,答案就藏在那道绿光里。 #深度学习 #人工智能 #左歪歪的技能树 #ai新星计划 #青年创作者成长计划
00:00 / 10:04
连播
清屏
智能
倍速
点赞6293
00:00 / 06:09
连播
清屏
智能
倍速
点赞214