论文阅读《CVP-MVSNet: Cost Volume Pyramid Based Depth Inference for Multi-View Stereo》

论文地址：Cost Volume Pyramid Based Depth Inference for Multi-View Stereo

一、 摘要

  这篇文章采用了代价体金字塔，由粗糙到精细逐级生成深度图；在第一次深度估计时直接生成固定大小的代价体，在后面的深度估计中，基于上一层预测的深度图来构建自适应的代价体来预测深度的残差图。

二、网络结构

  记$I_0\in R^{H\times W}$为参考图像，$\{I_i{\}}_{i=1}^N$ 为源图像， $\{K_i,R_i,t_i{\}}_{i=0}^N$ 为对应的相机内参，旋转矩阵和平移矩阵，目标是预测参考图像 $I_0$ 对应的深度图 $D$；

2.1 特征金字塔

  使用卷积神经网络来对参考图像 $I_0$ 与 $N-1$ 张源图像进行特征提取得到特征图${\left\{{\mathrm{f}}_i^l\right\}}_{i=0}^N$，其中${\mathrm{f}}_i^l\in {\mathbb{R}}^{H/2^l\times W/2^l\times F}$，$F$为16。在特征提取网络中，使用Conv + LeakyReLu来代替一般的 Conv + BN + ReLu结构。

2.2 代价体金字塔

  在传统的MVSNet中，根据方差来构建单个尺度下的匹配代价体，这篇文章提出了构建多尺度的自适应代价体金字塔，由上一个尺度的深度预测图自适应生成当前的自适应代价体；
  初始深度图预测：参照MVSNet的方法，将源视图的特征体经过相机参数warp到参考视图中，基于方差构建代价体，然后经过3D U-Net生成低分辨率的初始深度图（可参照MVSNet论文阅读）；
参考视图到源视图的投影关系如式1所示：
$${\mathbf{H}}_i(d)={\mathbf{K}}_i^L{\mathbf{R}}_i\left(\mathbf{I}-\frac{\left({\mathbf{t}}_0-{\mathbf{t}}_i\right){\mathbf{n}}_0^T}{d}\right){\mathbf{R}}_0^{-1}{\left({\mathbf{K}}_0^L\right)}^{-1}\text{\hspace{1em}(1)}$$
其中，$I$ 为单位矩阵， $K_i^L$和$K_0^L$为第$L$ level的内参矩阵；两个视图时间的关系为：${\lambda }_i{\tilde{\mathbf{x}}}_i={\mathbf{H}}_i(d)\mathbf{x}$，${\lambda }_i$ 为第 $i$ 个源视图对应像素点的深度；
基于方差建立代价体如式2所示：
$${\mathbf{C}}_d^L=\frac{1}{(N+1)}\sum _{i=0}^N{\left({\tilde{\mathbf{f}}}_{i,d}^L-{\overline{\mathrm{f}}}_d^L\right)}^2\text{\hspace{1em}(2)}$$
其中：$i$ 表示第 $i$ 个视图，$N$ 表示总的视图数， $L$ 表示第 $L$个level，$d$ 表示求将源视图投影到参考视图深度为$d$的代价，${\overline{\mathrm{f}}}_d^L$ 表示所有视图的特征warp到参考视图深度为d时的平均值，${\mathbf{C}}^L\in {\mathbb{R}}^{W/2^L\times H/2^L\times M\times F}$，$M$ 为假设的深度层的总数目，其中 $M$ 是自适应参数（在2.4介绍），该度量方法使得每个视图的像素都以相同的贡献值参与计算，鼓励每个像素的正确深度具有最小的特征方差，即满足光度一致性约束。

2.4 深度图残差预测

  模型的目标是预测参考视图 $I_0$ 的深度图 $D_0$ ，已求得level为 $l$ 时的深度图 $D_l$ ，现在需沿着金字塔方向估计下一层的深度图 $D_l$ ，首先将上一层预测的深度图 $D_{l+1}$ 基于双线性差值上采样得 ${\mathrm{D}}_{\uparrow }^{l+1}$，接下来，通过构建自适应代价体来回归深度残差图$\Delta {\mathrm{D}}^l$，上下两个level的深度图的关系如下： $${\mathrm{D}}^l={\mathrm{D}}_{\uparrow }^{l+1}+\Delta {\mathrm{D}}^l\text{\hspace{1em}(3)}$$
具体的做法如下：
假设当前level的代价体的深度分辨率为$\Delta d_{\mathrm{p}}=s_{\mathrm{p}}/M$，其中 $s_p$ 表示深度搜索范围，而 $M$ 表示在深度范围内采样的个数，参考视图与源视图的对应点的映射关系如式4所示：
$${\lambda }_i{\mathbf{x}}_i^{\prime }={\mathbf{K}}_i^l\left({\mathbf{R}}_i{\mathbf{R}}_0^{-1}\left({\left({\mathbf{K}}_0^l\right)}^{-1}(u,v,1{)}^T\left(d_{\mathbf{p}}+m\Delta d_{\mathbf{p}}\right)-{\mathbf{t}}_0\right)+{\mathbf{t}}_i\right)\text{\hspace{1em}(4)}$$
其中：${\lambda }_i$ 表示源视图 $i$ 中对应像素点的深度，$m\in \{-M/2,\cdots ,M/2-1\}$ ，式4的含义为：当参考视图的像素点在深度搜索范围 $s_p$ 内沿着分辨率 $\Delta d_{\mathrm{p}}$ 采样时，对应源视图的像素点的关系，根据式2可以计算出每一层的代价体${\mathrm{C}}^l\in {\mathbb{R}}^{H/2^l\times W/2^l\times M\times F}$，由当前视差图构建下一层自适应代价体时，最重要的是自适应代价体的搜索范围和采样间隔的确定。

  注意到，代价体的深度采样间隔与深度图的分辨率有关，采样太密集时，得到的深度信息都是相似的，采样间隔大时能提供更丰富的信息；在实验中，采用了0.5个像素距离对应的深度间隔信息；下面介绍如何计算深度采样间隔 $\Delta d_{\mathrm{p}}^l$ :

  遍历上阶段预测的参考视图的深度图的点，首先将参考视图中的点 $P_0=(u,v)$ 反投影到三维空间中，得到$P_{w_0}$，然后将$P_{w_0}$投影到源视图 $i$ 中得到$P_i$，在源视图 $i$ 的极线方向上取距离其0.5个像素距离的点 $P_i^{\prime }$,将其投影回源视图与 $P_0$ 的射线方向上得$P_{w_0}^{\prime }$，即：$\Delta d_{\mathrm{p}}$ = $P_{w_0}^{\prime }-P_{w_0}$ ，最后在上一层预测的深度图的上采样图上沿着$\Delta d_{\mathrm{p}}$间隔上下采样m个深度作为深度假设空间即：${\mathbf{D}}_{\uparrow }^{l+1}(\mathbf{p})+{\sum }_{m=-M/2}^{(M-2)/2}m\Delta d_{\mathrm{p}}^l$；
使用3D U-Net对该层的代价体进行正则化得到概率体$P_P^l$ ，基于假设深度空间与概率体，基于期望求预测残差值如式 5 所示：
$${\mathbf{D}}^l(\mathbf{p})={\mathbf{D}}_{\uparrow }^{l+1}(\mathbf{p})+\sum _{m=-M/2}^{(M-2)/2}{r}_p{P}_P^l(r_p)\text{\hspace{1em}(5)}$$
其中$r_p=m\Delta d_{\mathrm{p}}^l$，$l\in \{L-1,L-1,...,0\}$

三、损失函数

损失函数如式 6 所示：
$$Loss=\sum _{l=0}^L\sum _{\mathbf{p}\in \Omega }{\Vert {\mathbf{D}}_{\mathrm{G}T}^l(\mathbf{p})-{\mathbf{D}}^l(\mathbf{p})\Vert }_1\text{\hspace{1em}(6)}$$
其中 $\Omega$ 表示Ground True中的有效像素集合；

四、实验结果