论文笔记LRNNET: A LIGHT-WEIGHTED NETWORK

论文标题为LRNNET: A LIGHT-WEIGHTED NETWORK WITH EFFICIENT REDUCED NON-LOCAL OPERATION FOR REAL-TIME SEMANTIC SEGMENTATION
链接：https://arxiv.org/abs/2006.02706v1

一、相关概念

LRNNET主要包含两种结构：factorized convolution和attention model

1 factorized convolution

factorized convolution是指对标准的卷积方式进行分解优化，以起到减少参数量、提高运行速率的目的。文章中使用了factorized convolution block(FCB)

2 channel attention

channel attention的方法被大量运用在语义分割的模型中，而position attention和non-local方法则运用较少。

二、methodology

1 singular value decomposition and approximation

这里使用奇异值分解类似于在机器学习特征工程中的数据降维处理。假设一个矩阵$$A=(a_{ij})\in R^{m\times n}(m\ge n)$$同时有实数${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$，两个正交矩阵$U\in R_{m\times m}$,$V\in R_{n\times n}$，满足$$A=UD{V}^T=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^T$$
称U为左奇异矩阵，V为右奇异矩阵。D仅在主对角线上有值，且主对角线上的值为奇异值。
$$D=diag{\left\{{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r,0,\cdots ,0\right\}}_{m\times n}$$
若取$K\le r$，可以得到
$$A\approx \sum _{i=1}^K{\sigma }_i{u}_i{v}_i^T=\hat{A}$$
则可用$\hat{A}$来近似A。

2 Non-local Module

Query-Key-Value是NLP中的一种方法，分为三个步骤：
1.query与每个key进行相似度（有多种函数可以计算相似度）计算以得到权重。
2.对权重归一化
3.权重和相应key的value进行加权求和得到attention
$$O_i=\frac{1}{C(v_j)}\sum _{j=1}Sim(q_i,k_j)v_j$$
$q_i$为query，$k_j)$为key，$v_j$为value，$O_i$为query对应的output，$C(v_j)$为归一化函数
文章中所用的FCB如下图c所示：

首先是两个1Dkernel，然后是dilation & depthwise separable convolution，最后是channel shuffle。作者认为，一维卷积核适合于空间信息较少的特征，同时为了接收到空间信息多（也可以说成是增大感受野）的long-range的特征，使用了dilation & depthwise separable convolution，使用channel shuffle是因为在point-wise convolution之后使用了残差连接
LRNNET的encoder部分由多个FCB组成

以及使用了SVN Module的decoder部分

Conv1和Conv2均为1×1卷积，以构成bottleneck。整个解码器部分可以理解成类似attention的方法，其中的SVN的部分可以理解为特征图降维。设1×1conv后的feature maps尺寸为C’×H×W，将其划分为多个spatial sub-regions，每个region的尺寸为C’×H’×W’，共有$S=\frac{H\times W}{H^{\prime }\times W^{\prime }}$个regions，另N=H×W。并将regions flatten到尺寸为C’×(H’W’)，然后用power iteration algorithm计算left dominant singular vectors，尺寸为C’×1。由C’个regions可得到:$Keys\in R^{C^{\prime }\times S}$, $Values\in R^{C^{\prime }\times S}$,$Queries\in R^{C^{\prime }\times N}$为提取dominant singular vectors之前的position vectors。输出为$$O_i=\sum _{V_j,K_{j}in{S}_1\bigcup \cdots S_n}dot(Q_i,K_j)V_j$$
在Cityscapes上的测试结果如下