05论文笔记《Video Super-Resolution via Bidirectional Recurrent Convolutional Networks》

《Video Super-Resolution via Bidirectional Recurrent Convolutional Networks》

通过双向循环卷积网络实现视频超分辨率

从RNN到BRCN

 

 

SR简介：

超分辨率(Super-Resolution, SR)是计算机视觉领域的一个经典应用, SR是指通过软件或硬件的方法, 从观测到的低分辨率图像重建出相应的高分辨率图像；

SR问题是一个有监督学习问题，说白了就是要找到一个合适的模型，学习低分辨率图像和高分辨率图像之间的映射关系；

 

创新点：

首次提出双向循环卷积网络（BRCN）并运用于多帧SR；

 

循环神经网络RNN：

CNN无法对时间序列（是在不同时间上收集到的数据，这类数据是按时间顺序收集到的，用于所描述现象随时间变化的情况）上的变化进行建模。然而，样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求，就出现了大家所说的另一种神经网络结构——循环神经网络RNN;

在普通的CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间段直接作用到自身，表示成图就是这样的：

取出单个的一个单元：

 

我们现在这样来理解，如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络；

x是一个向量，它表示输入层的值；

s是一个向量，它表示隐藏层的值；

U是输入层到隐藏层的权重矩阵；

o也是一个向量，它表示输出层的值；

V是隐藏层到输出层的权重矩阵。

那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

 

 

相较与CNN

 

 

双向循环网络BRNN：

目的是需要能关联未来的数据，而单向循环神经网络属于关联历史数据，所以对于未来数据提出了反向循环神经网络，两个方向的网络结合到一起就能关联历史与未来了。

双向循环神经网络按时刻展开的结构如下，可以看到向前和向后层共同连接着输出层，其中包含了6个共享权值，分别为输入到向前层和向后层两个权值、向前层和向后层各自隐含层到隐含层的权值、向前层和向后层各自隐含层到输出层的权值。

 

可以由下列式子表示，

 

3D CNN与2D CNN:

3D CNN主要运用在视频分类、动作识别等领域，它是在2D CNN的基础上改变而来。由于2D CNN不能很好的捕获时序上的信息，因此我们采用3D CNN，这样就能将视频中时序信息进行很好的利用。

如图1所示，a)和b)分别为2D卷积用于单通道图像和多通道图像的情况（此处多通道图像可以指同一张图片的3个颜色通道，也指多张堆叠在一起的图片，即一小段视频），对于一个滤波器，输出为一张二维的特征图，多通道的信息被完全压缩了。

而c)中的3D卷积的输出仍然为3D的特征图。

也就是说采用2D CNN对视频进行操作的方式，一般都是对视频的每一帧图像分别利用CNN来进行识别，这种方式的识别没有考虑到时间维度的帧间运动信息，而使用3D CNN能更好的捕获视频中的时间和空间的特征信息。

 

BRCN的网络结构：

 

 

输出结果：