[论文笔记]Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference-CVPR 2019

Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference

1. Intro

Multi-view stereo (MVS) 目标是根据多角度图像以及校准的相机，恢复出三维场景。新的机器学习(learned)方法在MVS中相比传统方法表现出色。然而在大多数learned MVS方法中，由于cost volume regularization严重消耗内存，使得方法可扩展性差，无法应用于高分辨率场景。

本文在原本MVSNet基础上，在cost volume regularization一步采用多层gated recurrent unit (GRU)而非 3D CNN，内存消耗由立方增长降低到平方增长，可以应用于高分辨率场景。

本文首先验证了Recurrent MVSNet在常规数据集DTU，Tanks and Temples， ETH3D上表现，甚至出色于MVSNet。 之后又在大规模场景中验证，详细分析了内存消耗。

2. MVSNet (R-MVSNet)

MVSNet为一个端对端的网络结构(end to end)。输入为一张参考图像(reference image)以及多张源图像(source images)，输出为参考图像的深度图。

2.1 Images to Deep Features

$$\mathrm{I}\mathrm{m}\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{s}{\left\{\begin{array}{c}{\mathbf{I}}_i\end{array}\right\}}_{i=1}^N\stackrel{2DCNNs}{}\mathrm{D}\mathrm{e}\mathrm{e}\mathrm{p}\mathrm{F}\mathrm{e}\mathrm{a}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{s}{\left\{\begin{array}{c}{\mathbf{F}}_i\end{array}\right\}}_{i=1}^N$$

对于每一张图像Images，使用8层CNN提取Deep Features。第3、6层strides设置为2，使网络Feature tower逐渐缩小为三个等级，如图。每个等级中，两层卷积层用于提取图像高维特征，每一个卷积层后均有一个batch-normalization (BN)层，以及一个ReLU层，除了最后一个卷积层。所有参数在各个网络中共享。

经过2D网络，产生N个 32-channel Deep Features (Feature maps), 大小在每个方向上为源图象的 $\frac{1}{4}$ 。即为 ${\mathbf{F}}_{\mathbf{i}}\to \frac{H}{4}\times \frac{W}{4}\times F(32)$

2.2 Deep Features to Feature Volumes (Differentiable Homography)

$$\mathrm{D}\mathrm{e}\mathrm{e}\mathrm{p}\mathrm{F}\mathrm{e}\mathrm{a}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{s}{\left\{\begin{array}{c}{\mathbf{F}}_i\end{array}\right\}}_{i=1}^N\stackrel{warp}{}\mathrm{F}\mathrm{e}\mathrm{a}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{V}\mathrm{o}\mathrm{l}\mathrm{u}\mathrm{m}\mathrm{e}\mathrm{s}{\left\{\begin{array}{c}{\mathbf{V}}_i\end{array}\right\}}_{i=1}^N$$

此处为文章创新点之一。提出了一个基于单应变换的由2D转换3D的方法。

具体过程为将每一张源图象(Source images)的Deep Features (2D) 通过可微的单应变换，warp到参考图像 (Reference image) 相机前面的平行平面上，这些平行平面表示了不同的深度平面。公式如下：
$${\mathbf{H}}_i(d)={\mathbf{K}}_i\cdot {\mathbf{R}}_i\cdot (\mathbf{I}-\frac{({\mathbf{t}}_1-{\mathbf{t}}_i)\cdot {\mathbf{n}}_1^T}{d})\cdot {\mathbf{R}}_1^T\cdot {\mathbf{K}}_1^T$$
其中${\mathbf{K}}_i、{\mathbf{K}}_1^T、{\mathbf{R}}_i、{\mathbf{R}}_1^T、{\mathbf{t}}_1、{\mathbf{t}}_i$ 均为各个图像对应的相机内部参数，相机旋转矩阵，相机位移向量。$d$ 表示深度，$I$ 为单位矩阵。

此过程类似于将每一张图像投影到参考图像 (Reference image) 相机前面的平行平面，只不过投影的为各个图像的Deep Features。如图：

经过变换，得到N张图像对应的Feature Volumes，其结构为
${\mathbf{V}}_{\mathbf{i}}\to \frac{H}{4}\times \frac{W}{4}\times D\times F(32)$, $D$表示深度平面个数。

2.3 Features Volumes to Cost Volume

$$\mathrm{F}\mathrm{e}\mathrm{a}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{V}\mathrm{o}\mathrm{l}\mathrm{u}\mathrm{m}\mathrm{e}\mathrm{s}{\left\{\begin{array}{c}{\mathbf{V}}_i\end{array}\right\}}_{i=1}^N\stackrel{Variance}{}\mathrm{C}\mathrm{o}\mathrm{s}\mathrm{t}\mathrm{V}\mathrm{o}\mathrm{l}\mathrm{u}\mathrm{m}\mathrm{e}\mathbf{C}$$
这一步将N个Feature Volumes合并为一个Cost Volume $\mathbf{C}$ 其过程为对N张Feature Volumes逐个像素取方差：
$$\mathbf{C}=\frac{{\sum }_{i=1}^N({\mathbf{V}}_i-\overline{{\mathbf{V}}_i}{)}^2}{N}$$
此过程可以处理任意多输入图像，得到$\mathbf{C}$结构为：$\mathbf{C}\to \frac{H}{4}\times \frac{W}{4}\times D\times F(32)$。

取方差 (Variance)的过程得到了各个图像 (不同角度)之间同一深度位置特征的差异大小，差异大小表明了特征的匹配程度，若无差异，则说明此深度位置的点为多个角度投影的交点，即深度确定。

2.4 Cost Volume Regularization

从此一部分开始，R-MVSNet与MVSNet不一致。

$$CostVolume\mathbf{C}\stackrel{GRU+Softmax}{}ProbabilityVolume\mathbf{P}$$
R-MVSNet中采用的方法是沿着深度方向，顺序逐步处理Cost Volume $\mathbf{C}$, 具体来讲为Convolutional GRU。这种Regularization方法效果与3D CNN相差无几，但在内存占用方面有着更高的效率。

Convolutional GRU: Cost Volume $\mathbf{C}$ 可以看作D个cost maps ${\left\{\begin{array}{c}\mathbf{C}(i)\end{array}\right\}}_{i=1}^D$于深度方向前后连接在一起。如果我们定义${\left\{\begin{array}{c}{\mathbf{C}}_r(i)\end{array}\right\}}_{i=1}^D$为经过regularized的输出，那么根据GRU顺序处理的理念，${\mathbf{C}}_r(t)$应当与$\mathbf{C}(t)$以及所有以前的${\left\{\begin{array}{c}\mathbf{C}(i)\end{array}\right\}}_{i=1}^{t-1}$有关。如图所示，这样，网络就可以沿深度方向收集上下文信息。

${\mathbf{C}}_r(t)$计算：
$${\mathbf{C}}_r(t)=(1-\mathbf{U}(t))\odot {\mathbf{C}}_r(t-1)+\mathbf{U}(t)\odot {\mathbf{C}}_u(t)$$
其中$\mathbf{U}(t)$为update gate， 决定是否当前步骤update，${\mathbf{C}}_r(t-1)$是上一步骤输出结果，${\mathbf{C}}_u(t)$可以看作是这一步骤updated的结果，按照如下定义:
$${\mathbf{C}}_u(t)={\mathbf{\sigma }}_c({\mathbf{W}}_c\ast [\mathbf{C}(t),\mathbf{R}(t)\odot {\mathbf{C}}_r(t-1)]+{\mathbf{b}}_c)$$
其中$\mathbf{R}(t)$为reset gate，用于确定上一步骤${\mathbf{C}}_r(t-1)$对当前步骤update的影响。${\mathbf{\sigma }}_c()$为对每一个元素作用的sigmoid函数。$\mathbf{R}(t)\mathbf{U}(t)$也与当前步骤输入以及上一步骤输出有关:
$$\mathbf{R}(t)={\mathbf{\sigma }}_g({\mathbf{W}}_r\ast [\mathbf{C}(t),{\mathbf{C}}_r(t-1)]+{\mathbf{b}}_r)$$

$$\mathbf{U}(t)={\mathbf{\sigma }}_g({\mathbf{W}}_u\ast [\mathbf{C}(t),{\mathbf{C}}_r(t-1)]+{\mathbf{b}}_u)$$

$\mathbf{W}$，$\mathbf{U}$为learned 参数，${\mathbf{\sigma }}_g()$为tanh函数。

网络具体结构：有多个GRU单元堆栈形成一个深度网络，在文章中为3层GRU单元。首先通过一个2D卷积层将32-channel转化为16-channel作为GRU层的输入。之后，每一层GRU输出作为下一层输入，依次输出channel数为16，4，1。最终，经过regularized的cost maps${\left\{\begin{array}{c}{\mathbf{C}}_r(i)\end{array}\right\}}_{i=1}^D$将经过softmax层从而产生Probability volume $\mathbf{P}$用于计算损失。

${\left\{\begin{array}{c}{\mathbf{C}}_r(i)\end{array}\right\}}_{i=1}^D$将经过softmax层从而产生Probability volume $\mathbf{P}$用于计算损失。

此过程产生的Probability volume $\mathbf{P}$结构为：$\mathbf{P}\to \frac{H}{4}\times \frac{W}{4}\times D$。

3.论文及代码

Github代码R-MVSNet
论文链接