Parameter-Efficient Conformers via Sharing Sparsely-Gated Experts for End-to-End Speech Recognition

基于Sparsely-Gated Experts的Parameter-Efficient Conformers在端到端语音识别中的应用

摘要

虽然Transformer及其变体Conformer在语音识别中表现出良好的性能，但大量的参数导致在训练和推理过程中消耗大量的内存。一些研究采用跨层参数共享的方法来减少模型的参数。然而，这在一定程度上损害了模型的性能。

为了解决这一问题，本文通过Sparsely-Gated Experts提出了一种新的的Conformer。具体地说，我们使用Mixture-of-Expert(MoE)在不增加计算量的情况下扩展Conformer块的容量。然后，分组的Conformer块之间共享参数，从而减少参数的数量。其次，为了保证共享块具有适应不同层次表征的灵活性，分别设计了MoE routers和normalization。此外，我们使用知识蒸馏来进一步提高性能。实验结果表明，与全参数模型相比，该模型只需要1/3的编码器参数就能获得具有竞争力的性能。

模型架构

架构的总体还是一个Conformer模型，其中Conformer Block有G组，每组有C个Conformer Block，不同组之间的对应Conformer Block之间共享参数（图中相同颜色的Conformer Block共享参数），从而模型可以看成一组具有C个Conformer Block的结构循环执行了G次。

参数共享弱化了模型的能力，因此，为了提高模型容量但不增加计算量，在每个Conformer Block的第二个FFN模块中引入MoE，每个Conformer Block的第二个MoE层都激活了不同的专家（或者说每个专家的权重不一样）来计算FFN，具体形式如图中最右边，计算过程可以表达如下，其中g代表每个专家的权重：