超分辨率：LatticeNet：Towards Lightweight Image Super-resolution with Lattice Block

LatticeNet：Towards Lightweight Image Super-resolution with Lattice Block

期刊：ECCV
发布时间：2020年7月
这篇文章是2020年除了HRAN外，PSNR值最高，效果不错的一篇文章。
论文链接：点此下载源论文

---

这篇文章主要解决的问题：深度神经网络虽然在单图像超分上取得不错的效果，但是牺牲了计算复杂度以及内存存储。

这篇文章的主要解决办法：

1. 设计LB（Lattice Block）
   使用残差块、注意机制
2. 采用反向特征融合
   分层提取上下文信息

效果：保持相似性能的同时减少近一半的参数量、在基准数据集上精确度较高、计算复杂度及内存需求较小。

主要贡献：

1. 设计LB：基于蝴蝶结构的格子滤波器
2. LB是组合系数和残差块自适应的组合
3. LB倾向于轻量级模型设计：使用反向融合策略提取分层上下文信息
4. LB代替RB，相对于基准SR模型将会减少了近一半的参数，同时保持相同的性能

---

下面从以下几个方面对文章进行讲解：

1. LB
2. 组合系数
3. 反向特征融合
4. 整体网络结构
5. 损失函数
6. 实验
7. 结论

---

**

LB：

**

图（a）称为蝴蝶结构，图（b）为两个级联的蝴蝶结构，并加入了RB。
图（b）的计算公式为：

将Pi-1与Qi-1带入下方公式有：

随后对结果进行1*1卷积，即可得到LB块的输出结果

**

组合系数

**
组合系数或称为连接权值，通过注意机制计算而来

这里包含上下两个分支，上分支采用全局平均池化— 11卷积—Relu — 11卷积— Sigmoid；下分支采用全局标准差池化— 11卷积—Relu — 11卷积— Sigmoid

**

反向特征融合

**

首先对每个LB块左11卷积，使通道数减少一半，然后依次从后向前作Cat操作，之后再进行11卷积。以此类推，直到跟F1作完1*1卷积后的特征Cat在一起，结束融合操作。

**

整体网络结构

**

1. 两个3*3的卷积，做浅特征提取
2. 四个级联的LB
3. 反向特征融合BFM
4. 级联LB以及BFM做残差
5. 上采样

**

损失函数

**

采用MAE损失，即L1损失

**

实验

**
训练集、验证集：DIV2K
测试集：Set5、Set14、B100、Urban100
优化器：Adam
学习率：2e-4 每200epoch减少一半
运行时间：1天 （GTX 1080 GPU）

**

结论

**

1. 本文设计了有利于轻量级模型设计的LB块，可以根据组合系数有效的组合残差块。
2. 通过注意机制学习组合系数，提高SR性能；可以运用到采用残差块的其他SR网络中。
3. 采用反向特征融合策略整合上下文信息。