一步一步理解大模型：混合专家模型（MoE）简介

混合专家模型，英文叫Mixture of Experts (MoE) 是一种模型设计策略，它通过将多个模型（称为"专家"）直接结合在一起，以获得更好的预测性能。在大模型中，MoE方案可以有效地提高模型的容量和效率。一般而言，大模型的MoE有一个门控机制和一套门控输出机制来合并和平衡专家的选择，用于决定每个专家对最终预测的；有一套专家选择机制，会根据门控机制的输出选择一部分专家进行预测。这样可以减少计算量，并使模型能够针对不同的输入选择最合适的专家。还有一套训练机制。

在Mixture of Experts (MoE)架构中，有如下几种常见模式（所有图片均来自提出者的论文）：

ST (Switch Transformer): Switch Transformer中，模型的每一层都是一个专家网络的集合，输入数据会被动态地路由到不同的专家进行处理。

ST在Transformer模型中用一个稀疏的Switch前馈网络（FFN）层（浅蓝色）替换Transformer中存在的密集FFN层。该层独立地对序列中的标记进行操作，然后路由到多个FFN专家中。switch FFN层返回所选FFN的输出，然后乘以路由器阈值，然后进行合并。

EC (Expert Choice): Expert Choice的中文为专家选择，方法是设置一组具有预定缓冲区容量的专家，给专家分配给前k个令牌，产生一个令牌到专家的得分矩阵，然后用该矩阵做出路由决策。 

 GLaM (Generalist Language Model): GLaM叫通用语言模型，使用稀疏激活的混合专家架构来扩大模型容量，同时与密集型变体相比，其训练成本也大大降低。

GLaM的做法是在Transformer层之间加一个MoE层。对于每个输入标记，门控模块会动态地从64个专家中选择两个最相关的专家。这两个专家的输出的加权平均值将然后传递给上面的Transformer层。对于输入序列中的下一个标记，将选择两个不同的专家来达到平衡。 

此外，还有一种视觉混合专家模型（V-MoE）也被提到，但设计目标是用于图像分类，这里就不讨论了。

参考论文：

https://arxiv.org/pdf/2202.09368.pdf

https://arxiv.org/pdf/2112.06905.pdf

https://arxiv.org/pdf/2101.03961.pdf