《Multi-Frame Video Super-Resolution Using Convolution Neural Networks》 读书笔记

论文地址

MSE M S E 定义

MSE(Y^,Y)=1213HW∑i=1H∑j=1w∑k=13(Y^ijk−Yijk)2 M S E ( Y ^ , Y ) = 1 2 1 3 H W ∑ i = 1 H ∑ j = 1 w ∑ k = 1 3 ( Y ^ i j k − Y i j k ) 2

PSRN P S R N 定义

PSRN(Y^,Y)=20log(s)−10logMSE(Y^,Y) P S R N ( Y ^ , Y ) = 20 log ⁡ ( s ) − 10 log ⁡ M S E ( Y ^ , Y )

s s 为像素最大可能值

SSIM S S I M 定义

SSIM(Y^,Y)=(2μY^μY+c1)(2σY^Y+c2)(μ2Y^+μ2Y+c1)(σ2Y^+σ2Y+c2) S S I M ( Y ^ , Y ) = ( 2 μ Y ^ μ Y + c 1 ) ( 2 σ Y ^ Y + c 2 ) ( μ Y ^ 2 + μ Y 2 + c 1 ) ( σ Y ^ 2 + σ Y 2 + c 2 )

s s 为像素最大可能值， μY μ Y 为 Y Y 的均值， σ2Y σ Y 2 为方差， σY^Y σ Y ^ Y 为协方差， c1,c2 c 1 , c 2 分别为 0.01s2,0.03s2 0.01 s 2 , 0.03 s 2

在该片论文中，选择 SSIM S S I M 对模型进行好坏的评价。

框架

网络结构

为了保证能够对任意大小的图像进行super-resolution，在网络结构上使用了全卷积（Full Convolution）。
在输入前使用双三次插值(bicubic interpolation)进行上采样(upsample).在网络中保持图像大小不变。
使用了9层layer，且均使用relu function，同时在训练过程中dropout。
对于每个权重矩阵（weigte matrix），均进行L2 正则化（L2 regularization）。L2 正则化通过在损失函数中增加一些超参数与权重矩阵的MSE的乘积，来限制权重的大小。
以下为L2 正则化的公式：

L2(W)=λ∥W∥22 L 2 ( W ) = λ ‖ W ‖ 2 2

relu函数公式：

relu(x)=max(0,x) r e l u ( x ) = m a x ( 0 , x )

dropout 公式：

Dropout(x,p)={x,0,with prob.pwith prob.1−p D r o p o u t ( x , p ) = { x , with prob. p 0 , with prob. 1 − p

训练算法

在论文中，使用了Momentum和Adam两种更新算法。两种更新算法的在此不表。

超参数

k k 为层数，在这里 k=9 k = 9
ni n i 代表第i层的神经元（neuron）个数,
fi f i 为第i层卷积核大小

其中 fi∈[1,11],ni∈{8,16,32,64,96} f i ∈ [ 1 , 11 ] , n i ∈ { 8 , 16 , 32 , 64 , 96 }
根据机器性能设定上界。
在output layer 中 nk=3 n k = 3 ，保证为RGB三通道。
学习率（learning rate），正则化参数（regularization strength）,丢弃参数（dropout parameter）在此不表

权重初始化

在此不表

单帧与多帧CNN对比

文章中训练了两种不同类型的模型，一种为单帧CNN（SICNN）和多帧CNN（MFCNN）。在SICNN中，文章严格按照上文所述的结构进行建模。而在MFCNN中，文章对模型进行了一定的调整，使得它能够不仅仅参考当前帧，还能参考当前帧的附近d帧。在文章中，MFCNN将临近的 2∗d+1 2 ∗ d + 1 帧堆叠起来对当前帧进行预测。