Residual Feature Distillation Network for Lightweight Image Super-Resolution（AIM2020）轻质超分辨率的残差特征蒸馏

AIM2020-ESR冠军 轻质图像超分辨率的残差特征蒸馏网
代码：https://github.com/njulj/RFDN

图像超分取得了极大的进展，尽管基于CNN的方法取得了极好的性能与视觉效果，但是这些模型难以部署到端侧设备(高计算量、高内存占用)。

为解决上述问题，已有各种不同的快速而轻量型的CNN模型提出，IDN(Information Distillation Network, IDN)是其中的佼佼者，它采用通道分离的方式提取蒸馏特征。然而，我们并不是很清晰的知道这个操作是如何有益于高效单图超分（SISR）的。

本文提出一种等价于通道分离操作的特征蒸馏连接操作****(Feature Distillation Connection, FDC)，它更轻量且更灵活。基于FDC，作者对信息多蒸馏网IMDN(Information Multi Distillation Network, IMDN)进行了重思考并提出了一种称之为RFDN(Residual Feature Distillation Network, RFDN)的轻量型图像超分模型，RFDN采用多个FDC学习更具判别能力的特征。与此同时，作者还提出一种浅层残差模块SRB(Shallow Residual Block, SRB)**作为RFDB的构件模块，SRB即可得益于残差学习，又足够轻量。

最后作者通过实验表明：所提方法在性能与模型复杂度方面取得了更多的均衡。更进一步，增强型的RFDN(Enhanced RFDN, E-RFDN)获得了AIM2020 Efficient Super Resolution竞赛的冠军
该文的主要贡献包含以下几点

1. 提出一种轻量型残差特征蒸馏网络用于图像超分并取得了SOTA性能ÿ