期望最大化注意力网络用于语义分割——Expectation-Maximization Attention Networks for Semantic Segmentation
0.摘要自注意机制已广泛应用于各种任务。它的设计是通过所有位置的特征的加权和来计算每个位置的表示。因此，它可以捕捉计算机视觉任务的长程关系。然而，这种方法在计算上是耗费资源的，因为注意力图是相对于所有其他位置计算的。在本文中，我们将注意机制形式化为期望最大化的方式，并迭代地估计一组更紧凑的基础，基于这些基础计算注意力图。通过对这些基础的加权求和，得到的表示是低秩的，并且将输入中的噪声信息降低。所提