5种3D Attention/Transformer整理（A-SCN、Point Attention、CAA、Offset Attention、Point Transformer）

一、A-SCN

原文链接：Attentional ShapeContextNet for Point Cloud Recognition | IEEE Conference Publication | IEEE Xplore

        这篇文章提出了一个新的网络结构SCN（本文不过多关注）：

        引入注意力后即A-SCN。下图为A-SCN块结构（图中标注的第一个好像应为）：

 上图中与相加后，有一个transformation环节将转换为形状。

二、Point Attention

原文链接：https://arxiv.org/pdf/1909.12663.pdf

        本文提出了新的网络结构LAE-Conv，然后将其输出特征输入到下列结构：

其中均由MLP得到；表示矩阵乘法。

最后，其中为缩放参数。

        将上述注意力机制嵌入网络中，得到本文的Point Attention网络如下：

 三、CAA

原文链接：https://arxiv.org/pdf/1911.12885.pdf

        同样也是先提出一种网络结构，再将特征输入下图所示的CAA模块：

该图大致分为三行，第一行包含CCC块和CAE块：

        1.CCC块：Compact Channel-wise Comparator block

        设输入特征为，在通道向量上使用共享权重的MLP，得到更少的点数，。

        使用两个MLP 和分别处理，即和。令为query矩阵，为key矩阵，然后计算相似度矩阵，其第行第列元素值表示第个通道和第个通道的相似度。

         2.CAE块：Channel Affinity Estimator block

        首先选取每一列最大的相似度，然后扩维至与相同的大小。将其减去原始的后，有较高相似度的通道会有较低的Affinity。

图中第二行使用另一个MLP 得到；为value矩阵。

图中第三行使用残差连接，并学习一个权重来使学习变得容易。最终的输出为

四、Offset Attention

原文链接：https://arxiv.org/pdf/2012.09688.pdf

        同样先提出PCT（点云Transformer）结构，这里仅关注其中的注意力部分。

        Offset Attention图示：

图中两个开关均往上时为自注意力（SA）；均往下时为offset attention；LBR表示线性层，BN和ReLU。

        若输入为，则对于SA有

其中，；即，。

然后由图中的SS操作归一化，得到：

（1）

最后，且

（2）

        Offset attention所作的修改在（1）和（2）式：

五、Point Transformer

原文链接：https://arxiv.org/pdf/2012.09164.pdf

Point Transformer Layer

Point Transformer Block

        使用减法关系，并对注意力向量和变换特征添加位置编码：

 

其中子集是的局部邻域（如近邻）；表示按元素乘法；映射函数是带ReLU的双层MLP；是归一化函数如softmax；是逐点的特征变换，如线性层或MLP。

实际上这里的分别产生矩阵。

        位置编码：，这里是点的坐标。函数是带ReLU的双层MLP，与其他子网络一同训练。