ESPCN论文笔记

ESPCN论文笔记

论文：Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

此前利用卷积神经网络(CNN)的图像超分辨率方法(Super Resoluiton, SR)中，通常在图像预处理阶段利用双三次插值将低分辨率(LR)图像变换为目标分辨率，然后在高分辨率的条件下进行特征提取与图像重建(例如SRCNN)。这样做使得算法的计算复杂度很高，ESPCN提出了一种在低分辨率场景下提取特征并重建图像的网络结构，降低了计算量，提高了运行速度。

网络结构

首先将L层卷积神经网络直接应用于LR图像，然后应用亚像素卷积层(sub-pixel convolution layer)进行特征映射与放大生成高分辨率(HR)图像。亚像素卷积层就是ESPCN的主要贡献，其后有很多方法都仿照此，在LR上提取特征，继而经过亚像素卷积层提高分辨率。(sub-pixel convolution又称作pixel shuffle)

一般通过卷积操作生成的特征图会比原始图像更小，而当步长小于1时，得到的特征图就会大于原始图像。这里就是将通过CNN生成的r²个H×W×C的张量转化成为一个rH×rW×C的张量。r为scale factor，H、W为图像宽高，C为图像通道数。

损失函数

MSE损失函数:

与SRCNN同样的损失函数，能获得很高的PSNR值，但实际图像质量过平滑。

测试结果