搞懂DeepSeek MoE #DeepSeek #AI #MoE

deepseek中文输出教程

75
2
57
12
举报
发布时间：2026-05-09 07:57
查看AI文稿
AI文稿

今天我们来学习 deepsea 的 mo 机制， mo 一 的中文名呢，叫做混合专家。那专家是什么？它在哪里？它有什么作用？ 其实专家呢，是对大元模型中前馈神经网络的拟人化称谓。我们先来回顾一下什么是前馈神经网络， 再来理解它为什么被称为专家。在 transfoam 中，乾坤神经网络的标准结构可以理解为两线一非，这两个限性变化层呢，加着一个非限性几乎函数，它的数学表达式如下。 需要特别注意的是，在 transfoam 架构中， ffm 的 输出呢，不是直接替换掉输入，而是通过长叉连接加回到输入的向量上，表达式如下， 这就意味着输入向量 x 就 像一个信息载体，而 f f n 的 作用是根据当前的内容计算出一个增量，并把它叠加到 x 上，这增量呢，就是专家的理解和支持。 比如某一个词手机，在苹果手机的语境下呢， f f n 会为其增加高端、拍照好等特征。若在廉价手机的语境下，则可能增加入门、性价比等不同的特征。所以这个公式呢，就触及到了专家的本质， 通过计算一个精确的知识增量，在保留原始信息的基础上，对当前表示进行智能化、语境化的微调，从而提升整体语义的表达的准确性和深度，这就是专家的作用。所以乾坤神经网络会被称为专家。 其实我们会发现，大元模型的推理过程呢，无非就是在重复问同一个终极问题，下一个脱轨到底是什么？ 而 f f n 层为了回答这个问题，就用当前的状态加上专家的判断，得到了跟进后的预测。搞清楚了专家是什么，我们再来看看传统 transform 架构。由于每一层只有一个前馈神经网络， 它需要处理所有类型的输入，如同一个全能通才的专家，压力三大。而 m o e transform 架构中呢，每层包含了多个前缀，神经网络专家。每个专家呢，专注于特定领域，形成专家团队， 通过分工协助提升了整体能力。 deep sec v 三将专家分为两类，左侧是共享专家，每层固定数量。 deep sec 呢，目前设置的是每层一个。 这个专家呢，始终参与计算，负责处理通用基础的语域特征，确保模型的基础能力和稳定性。 而右侧呢，是路由专家，数量众多。目前 deepsea 每层呢，有二百五十六个动态选择性激活，每次激活其中的八个，约百分之三的激活率， 负责处理特定专业的语言模式。现在的问题是，面对这么多专家，我们应该如何选择？ deepsea 在 这里引入了亲和度的概念，谁和我亲近，我就选择谁，谁更懂我，我就选谁。就像你遇到问题时，会本能地寻找最相关领域的专家一样。 模型也为每个输入计算它与所有专家的匹配得分。这是个很奇妙但又很自然的想法。问题是如何计算亲和度？ deepsea v 三呢？给出的解决方案是，为每个路由专家定一个智星项链，你可以想象它是专家的能力。简介写着，我擅长处理名词，我擅长处理运动，或者我擅长处理颜色等。 当一个输入信息，比如代表苹果或者发动机的项链来，到时，它会快速浏览所有专家的这份简历，寻找专业最对口的那一位。 当然，以上呢，是拟人化的说法。实际上呢，至心向量的数学底层实现呢，就是一个高维向量，其维度呢，与模型的隐藏层维度相同，比如七千一百六十八维。亲和度的计算，就是用当前的输入向量和这个至心向量做点击计算， 点击后的结果执行 sigma 的 操作，得分越高，代表亲和度就越高。那你一定会很好奇，知心向量到底是如何得到的？一个最初完全随机的向量，是怎么一步步变成能代表专业领域的智能简历的？ 我们可以想象这样一个动态的试错过程，假设一开始专家 a 的 知心向量是随机的， 当一个输入向量，比如代表苹果的向量过来，计算出的亲和度得分竟然很高，于是系统就选中了专家 a 来处理。但问题是，专家 a 因为专业不对口，给出的输出结果很差， 而是最终预测的错误很大，既损失函数的值很高。这时反向传播机制呢，就会发挥作用，它会给出一个明确的调整信号， 这次选错专家了，于是模型会轻微的调整专家 a 的 纸型向量的数值，让他在这个苹果向量的方向上稍微远离一些。这样的一来，下次再遇到类似苹果向量时，亲和度分数自然就降低了，专家 a 被选中的概率也会随之下降。 反过来说，如果这个专家反复被同一类输入选中，并且总能给出高质量的结果，也就是损失很小，那么他的执行向量就会不断的微调，越来越对准那类输入所在的方向。 正是这样海量动态的尝试反馈微调循环中，每个专家的智行向量从一片混沌的随机初始状态逐渐漂移沉淀，最终稳定的指向了一个高微空间中的特定方向，而这个方向就是模型自己学习到的，对该专家专业领域的数学刻画。 所以呢，智行向量不是被预先设定的，而是在训练中自己长出来的专业肖像。好了， 现在我们已经拿到了所有专家的亲和度成绩单，系统面临下一个决策，该翻谁的牌子，该 pick 谁。 选择方法呢，其实很粗暴，谁的得分高就选谁。模型还为这种方法取了个名字叫 top k， 也就是选择得分最高的前 k。 个 k 等于一，就选得分最高的那个 k 等于二，就选得分最高的前两个。 在 deepsea 微三中呢， k 被设置为八，这意味着每次只有 top 八的专家被激活参与工作。这种设计呢，保证了极高的计算效率，是 mo 模型实现稀疏激活的核心。 选秀结束了，专家就开始会诊。会诊结果呢，并不是直接相加，路由器会根据这些入选专家的专业匹配度，为他们分配不同的话语权。这个过程也叫做门控机制。 门控值呢，是将 topk 专家的原始亲和度分数 si 进行归一化后得到的。 最终的预测结果会是这样合成的，输出等于现有状态，加上权重一乘以专家一的诊断，加上权重二乘以专家二的诊断等等等等，依次类推。这就像一个专家会诊最权威、最对口的专家，他的诊断意见分量是最重的。 亲和度低的专家虽然也会在会场，但发言权较小。举个例子，如果只选了两位专家，他们的权重分别是零点五一五和零点四八五，那就意味着第一位专家的意见呢，比第二位专家的意见影响程度更高。 这样模型通过 topk 保证了效率，又通过门控权重实现了智慧的精细融合，而不是粗暴的平均。关于专家之间的负债均衡问题呢？ deepsea v 三通过引入偏置实现了动态调节，这里我们就不赘述了，大家可以翻阅论文查看细节。 好了，让我们最终梳理一下 deepsea v 三的 m o e。 的 完整工作流程。首先，计算亲和度 s i t， 根据亲和度选出最相关的 topk 的 专家，通过 softmax 对 亲和度 s 进行归一化，得到门控值 g i t， 也就是专家权重。 专家独立处理信息，分别得到共享专家的输出和路由专家的输出，两者相加，再进行残差连接，得到最终输出。 总结为四句话，一、组建团队。二、独立分析。三、汇总意见。四、形成决意。以上就是 m o e。 背后的真相，感谢您的关注，我们下次再见！

陈兴AI
陈兴AI

粉丝4.6万获赞15.6万

相关视频

热门分类