《Deep Learning for Image Super-resolution: A Survey》之 Upsampling Methods

本文节选自论文:Deep Learning for Image Super-resolution: A Survey

关于图像超分中上采样(Upsampling)方法的总结:

1、Interpolation-based Upsampling(基于插值的上采样方法)

(1)Nearest-neighbor Interpolation(最近邻插值)

选取最靠近的点作为待插入位置的像素值。

优点:简单、快

缺点:产生块效应

 

(2)Bilinear Interpolation(双线性插值)

《Deep Learning for Image Super-resolution: A Survey》之 Upsampling Methods_第1张图片

 已知Q_{11}Q_{12}Q_{22}Q_{21},先在X方向进行线性插值,由Q_{12}Q_{22}得到R_{2},由Q_{11}Q_{21}得到R_{1},再进行Y方向的线性插值,由R_{1}R_{2}得到P。(参考百度百科)

 

(3)Bicubic Interpolation(双三次插值)

参考博客:https://blog.csdn.net/datase/article/details/80576054

 

 

2、Learning-based Upsampling(基于学习的上采样方法)

这类方法能够将上采样操作集成到网络结构中(an end-to-end manner)

(1)Transposed Convolution Layer(反卷积层)

《Deep Learning for Image Super-resolution: A Survey》之 Upsampling Methods_第2张图片

如上图所示,它通过在原始像素之间插入0,再进行卷积操作,来提高图像的分辨率(size)。上图是一个 x2 的上采样示意图,首先将原始图像(a)扩展为2倍(b),再进行一个卷积操作(kernel=3, stride=1, padding=1)。

 

(2)Sub-pixel Layer

《Deep Learning for Image Super-resolution: A Survey》之 Upsampling Methods_第3张图片

对于一幅大小为C*H*W的原始特征图(a),该类方法首先通过卷积操作生成有s^{^{2}}C个通道的特征图s^{^{2}}C*H*W(如上图(b)所示),其中s为上采样的放大系数,然后通过一个reshaping操作输出为C*sH*sW的特征图,即完成了放大系数为s的上采样(其实就是将不同通道的特征图拼在了一起)。

优点:拥有更大的感受野,能提供更多的结构信息。

缺点:在不同块的边界处会有一些伪影。

你可能感兴趣的:(论文阅读)