深度学习三维重建-双目视差三维重建小笔记

记录一下深度学习进行双目三维重建看过的网络
持续更新（时不时更新）
数据集：
SceneFlow
KITTI
ETH3D
与三维有关的数据集：
TanksAndTemples
一大堆Github总结的数据集
Github大佬的笔记

---

-----------------------------------我是分界线------------------------------------

双目三维重建：立体匹配就4个步骤：匹配代价计算，代价聚合，计算视差，视差精化。
传统方法有必要了解，局部、非局部、全局的匹配算法都有必要了解一下，但是我没有全部过一遍，惭愧，很多方法的思路是别的算法突破的入口。
回到正题，这里要主要讲深度学习的双目视差匹配，这里并不是走到终点后的回顾，在写博客的同时在学习，会不断修正博客来整理思路。所以这里只记录双目匹配、视差网络相关的内容。序号也不会是规律的１２３４５，而是会存在1.1/1.11/这样，都是后来插进去的重要内容。
插一个大哥总结的东西

1.0 Siamese Network

Learning a Similarity Metric Discriminatively, with Application to Face
Verification
CSDN：Siamese Network理解（附代码）
知乎：【模型解读】siamese network和triplet network原理与应用
//知乎这篇文章还讲述了triplet网络，但是这个东西在差异检测有用，在这里好像并没有什么价值，知道有这么个东西就好。
这个网络可以用来做：

• 图像验证与匹对
• 目标跟踪
• 排序（估计年龄等）
  这个网络似乎很适合处理相对相似的两个场景图像，最开始是用来判断两幅图像的相似性。双目匹配就是一种相似性的密集匹配。
  这里先梳理下网络演变的线路：
  
  SceneFlow数据集最早用了FlowNet，然后Dispnet，并且数据集官方有榜单可以看。我选择了PSMNet作为学习目标，但是直接上手PSMNet难度有点大，按照这条路线来看，从简单到复杂。

2.0CVPR2016-A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation

dispnet的前身是Flownet，文章前部分主要提了一些数据集制作的相关问题，这里的网络结构参照了光流的特性。

GC-net遍历视差，每一层视差做了一次特征图层，最终包含视差为０的情况，一共视差最大值+1层特征图，这带来了大量的空间开销。这种算法受图像分辨率限制比较严重，尤其是在测量条件下，想要提高测量精度，多数情况就是提高相机分辨率，这直接带来计算量大量提高。