无监督学习双目立体匹配思考

UnsupervisedMonocular Depth Estimation with Left-Right Consistency

11.Unsupervised Monocular Depth Estimation with Left-Right Consistency_いしょ的博客-CSDN博客无监督学习，单目重建

利用双目图片训练模型：

把单目深度估计看作是一个图像重建问题(一个非监督的方法，不需要使用ground truth depth)，利用极线几何约束，在图像重建丢失的情况下，通过训练网络生成视差图像。但同时也表明，仅解决图像重建问题会导致深度图像质量较差。为此，作者构建了一个新的训练损失，可以加强左右视差图的一致性，这样能够提升性能和鲁棒性。

大体思路是首先将双目摄像头的左图作为整个网络的输入，经过一个卷积神经网络，输出两张分别对应双目摄像头左图和右图的视差图，我再将真正的右图加进来，通过我预测得到的视差图与拿过来的右图进行处理，生成左图。然后将生成的左图与真实的左图作对比，通过loss损失函数进一步反向传播训练网络。
 

优点：可以用来通过单张图片预测深度信息

不足：对于已经有双目图片的情况下，不能充分利用双目信息进行预测

改进方向：可以通过输入双目图片生成视差，然后利用左图+视差生成右图，用生成的右图与真实的右图进行对比，计算Loss进行反向传播（或相反）。参考CRestereo网络

Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation

基于自适应相关级联递归网络的实用立体匹配

【立体匹配论文阅读】【二】CREStereo_凳子花❀的博客-CSDN博客

Deformable Convolution（形变卷积操作）_张好好-学习的博客-CSDN博客_形变卷积

可以通过STN空间转移网络或者DC形变卷积原理，对左图进行3d变换，生成右图，比较左右图相似性