什么是MOE架构

让不同“专家”处理不同任务

对于深度学习来说，能同时处理文本图像任务其实已经不稀奇。不过过去常见的多模态学习方法，往往是单个输入就需要激活整个网络。谷歌这次提出的新方法，最大亮点就是首次在这一领域采用了稀疏化模型。

稀疏化的方法便是无需让整个模型来处理所有的输入。通过对神经网络进行划分，它让神经网络也“专业对口”，不同的子模型只处理固定类型的任务或数据。

但也不是完全割裂开来，模型内部仍有可共享的部分。此次基于的模型是MoE（Mixture-of-Experts layer），它被称为专家混合模型。也就是在Transformer架构的基础上，加设了“专家层”。

它是一个并行的FNN，取代了原本的前馈网络。这里的“专家”，也就是模型内部的不同子模型。每个子模型专门用于不同的输入。

每一层中的专家由门控网络控制，该网络根据输入数据激活专家。对于每个标记，门控网络选择最合适的专家来处理数据。