学习记录——VAN LKA、LSKA

Visual Attention Network

2022 大核注意力机制LKA

  在本文中，提出了一种新的大核注意力large kernal attention（LKA）模型， LKA吸收了卷积和自注意的优点，包括局部结构信息、长程依赖性和适应性。同时，避免了忽略在通道维度上的适应性等缺点。

CNN

  因为使用了局部上下文信息和平移不变性，极大地提高了神经网络的效率。

视觉的注意力

  视觉的注意力可以被分为四个类别： 通道注意力、空间注意力、时间注意力和分支注意力。每种注意力机制都有不同的效果。Self-attention 是一个特别的注意力，可以捕捉到长程的依赖性和适应性，在视觉任务中越来越重要。但是，self-attention有三个缺点：

• 它把图像变成了1D的序列进行处理，忽略了2D的结构信息。
• 对于高分辨率图片来说，二次计算复杂度太高。
• 它只实现了空间适应性却忽略了通道适应性。

  对于视觉任务来说，不同的通道经常表示不同的物体，通道适应性在视觉任务中也是很重要的。为了解决这些问题，我们提出了一个新的视觉注意力机制：LKA。 它包含了self-attention的适应性和长程依赖，而且它还吸收了卷积操作中利用局部上下文信息的优点。

视觉MLP

  最近的一些研究成功地把标准的MLP分解为了spatial MLP和channel MLP，显著降低了计算复杂度和参数量&