Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks(速读)
abstract传统注意力机制是一个二次的复杂度(quadraticcomplexity),这篇论文提出的外部复杂度是一个线性的,计算复杂度低而且内存消耗小。introduction外部注意力机制复杂度低,精读高多头外部注意力机制,构建了一个MLP的架构大量的实验注:多层感知器(MultilayerPerceptron,缩写MLP)是一种前向结构的人工神经网络,映射一组输入向量到一组输出向量met