论文笔记：NAFNet: Simple Baselines for Image Restoration

向孙老师致敬！

相关工作

图像恢复模型体系结构比较

方法

块内(Intra-block)结构比较：

其中Channel Attention (CA)，Simplified Channel Attention(SCA)，从左到右依次替换

归一化：将层归一化(Layer Normalization)添加到普通块中，因为它可以稳定训练过程。

激活函数：在plain块中用GELU替换ReLU，因为它在保持图像去噪性能的同时，为图像去模糊带来了非平凡的收益。

注意力：通道注意力

Nonlinear Activation Free Network

Gated Linear Units：$$\mathrm{Gate}(\mathbf{X},f,g,\sigma )=f(\mathbf{X})\odot \sigma (g(\mathbf{X}))$$

GELU：$GELU(x)=x\Phi (x)$，其中$\Phi$表示标准正态分布的累积分布函数。GELU可以通过以下方式进行近似和实现$$0.5x\left(1+\tanh \left[\sqrt{2/\pi }\left(x+0.044715x^3\right)\right]\right)$$

我们提出了一个简单的GLU变体：直接将特征映射划分为通道维度的两部分，并将它们相乘$$\text{ SimpleGate }(\mathbf{X},\mathbf{Y})=\mathbf{X}\odot \mathbf{Y}$$其中，X和Y是大小相同的特征映射。

Simplified Channel Attention：使用的是SENet$$CA(\mathbf{X})=\mathbf{X}\ast \sigma \left(W_2\max \left(0,W_1\mathrm{pool}(\mathbf{X})\right)\right)$$

其中X表示特征映射，pool表示将空间信息聚合到通道中的全局平均池化操作。$\sigma$是一个非线性激活函数Sigmoid，$W_1$、$W_2$是全连接层，两个全连接层之间采用ReLU，最后的$\ast$是一种通道乘积运算(channelwise product operation)。简化的CA：$$SCA(\mathbf{X})=\mathbf{X}\ast W\mathrm{pool}(\mathbf{X})$$

本质上删除了激活函数。

实验

代码

github.com/megvii-research/NAFNet