srcnn 双三次插值_[超分][TPAMI2015]SRCNN-Ex

论文标题：Image Super-Resolution Using Deep Convolutional Networks

这篇是SRCNN的会议扩充投期刊的后续，作者还是董超，Chen Change Loy，何凯明，汤晓欧。整篇论文实际上并没有太多的更新，很多细节都是一致的，只是扩充了下实验。

相较于原版的SRCNN，这里做的实验性扩充有：

1. 使用了更深的模型层。原版中使用了两层卷积，这里使用了三层卷积。实际上前两层卷积中间并没有添加非线性，还是可以看做是两层卷积。
2.使用了YCbCr和RGB进行了通道的扩展性实验。

整个的模型架构还是不变，依然为特征提取-非线性映射-重建的三个步骤。

只不过在非线性映射这里先加了一层卷积。

然而由于特征提取的第一层卷积之后并没有添加非线性激活函数，所以这里虽然在ReLU之前加了一层卷积，但是实际上还是等价于两层卷积。

相比于原版的SRCNN，这篇还是以各种各样的对比试验为主。

1. 数据量对比试验

原始的91张图片与ImageNet上的大量图片之间的对比实验，可以看到采用了更多的训练数据之后，最后是会获得一定的PSNR上领先。

2. 新加卷积核大小对比实验

新加了一层卷积之后，随着1->3->5的卷积核大小的提升，这里都会轻微的提升模型的效果。

3. 模型容量对比实验

对于基准的卷积核通道数，分别进行了增加与减少一倍卷积核数量的对比实验。可以看到，很显著的模型容量越大，耗时越长，大致在3倍的耗时差距；模型容量越大，最后取得的PSNR数值越高。

4.模型深度对比实验

模型层数从三层增加到了四层，从图上可以看到并不是增加了模型层数就会提升模型性能，反而可能会下降。这里VDSR支出一个可能性的原因是模型还没有收敛。

5. 耗时对比实验

这里相比于原版的SRCNN，画了三组模型结构的对比图，算是精度与效果的trade-off。可以看到，模型的容量越大，效果越好，耗时也会越高。

6. 图片通道对比实验

原版的SRCNN中是只采用了YCbCr中的Y通道来进行超分，然后对于CbCr两个通道直接进行双三次插值来进行可视化展示。这里的对比实验中，有一些比较有意思的东西。

1. 只在Y上训练的模型在Y通道上的效果最好。
2. 使用在Y上预训练的模型，再一起训练YCbCr之后在CbCr两个通道上的效果最好。
3. 直接使用YCbCr来进行训练，三个通道上的效果都比较差。
4. 使用RGB数据训练的模型在YCbCr上的效果较差，但是在RGB数据上的效果最好。

从这组对比实验可以看到，如果是数据输入与输出均是需要YCbCr的情况下，采用Y通道上预训练，然后再 使用YCbCr来一起训练取得的效果最好。

结论

这篇期刊文章是原版SRCNN的扩充，核心思想还是使用神经网络模型来对低分辨率图片进行端到端的超分，只不过是多了一些模型容量、模型层数、训练数据、训练图片通道等额外的对比实验。