立体匹配整体思路:
Siamese网络特征提取+相似性度量+构造三维代价卷+代价卷优化(编码解码器)+生成初始视差+视差优化结构或者分支结构(比如结合语义分割信息)
论文
MC-CNN LeCun 《Computing the Stereo Matching Cost with a Convolutional Neural Network》2015
改进匹配代价计算,看成二分类问题
Luo 《Efficient Deep Learning for Stereo Matching》
双塔网络提取特征,改进点乘层內积运算进行相似性度量,大大加快测试和训练
Chen 两个双塔结构用不同尺度接受相同块,分别产生得分,最终得分加权平均
MatchNet 《MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching》
增加池化层减少特征尺寸,3个FC计算相似性
Zagornkyo 《Learning to Compare Image Patches via Convolutional Neural Networks》
研究了不同网络代价表现,3个基础网络+3个额外网络
DispNet Mayer 《A Large Dataset to Train Convolutional Networks
for Disparity, Optical Flow, and Scene Flow Estimation》
光流估计,视差估计,实时视察估计
编码-解码器——上采样反卷积恢复图像大小
《Discriminative Learning of Deep Convolutional Feature Point Descriptors》
网络简单+有判别力(难以分类的块)
描述符可直接用sift替换
L2范式相似性度量
训练麻烦-随机抽样策略和挖掘
《Unsupervised Learning of Stereo Matching》
双分支结构
代价卷分支提取特征——相关层产生代价卷
图像特征分支提取特征
结合——通过联合过滤器产生代价卷——视差
置信图 warp处理(L-R R-L)
《Deep Stereo Matching with Explicit Cost Aggregation Sub-Architecture》
北京理工 KITTI2015 2nd
改进代价聚合 低层结构信息+高层语义信息
端到端训练网络
匹配代价计算 A1特征提取—ResNet
A2 卷构建—平移
A3相似性度量—编码-解码器结构
代价聚合 B1生成提议—产生聚合结果,高层语义信息
B2选择提议—评估聚合结果,低层结构信息
视差计算 ArgMin
PSM-Net《 36 Pyramid Stereo Matching Network-CVPR-2018(PSMNet)》
利用环境信息寻找不适定区域
空间金字塔池化:聚合不同尺度不同位置环境信息,构建匹配代价卷
3dCNN:多个堆叠沙漏网络和中间监督结合 ,调整代价卷
《Improved Stereo Matching with Constant Highway Networks》
跳跃连接—λ比例系数 反射置信度 混合权重
A 2个内残差块组成外残差块
B 5个外残差块
C 决策网络 铰链损失 0.8
点积 交叉熵损失 0.2
全局视差网络 反射置信度
CRL 《Cascade Residual Learning: A Two-stage Convolutional Neural
Network for Stereo Matching》
解决病态区域问题,两级CNN结构
1DispFullNet dispNet+上卷积,保留更多细节 ——初始视差图
2DispResNet 优化视差图,生成不同尺度残差信号 ——优化
GC-Net《 End-to-End Learning of Geometry and Context for Deep Stereo Regression》
取代传统四步方法
2d卷积获取特征表示 + 3d卷积获取上下文信息 +回归预测视差图
更方便,回归预测
《Learning for Disparity Estimation through Feature Constancy》
三部分整合步骤
1计算多尺度共享特征
2代价计算、代价聚合、视差计算
共享特征估计初始侧视图
初始视差图和共享特征计算特征连续性
3视差优化
初始视差图和特征连续性输出次级网络优化视差图
《CBMV A Coalesced Bidirectional Matching Volume for Disparity Estimation-》
改进MC-CNN
改进匹配代价计算
估计双边匹配卷,合并匹配卷和置信卷,用卷积匹配函数
匹配卷 Census +NCC +ZSAD +Sobel
置信卷 C +左右比率 +左右相似性
《Look Wider to Match Image Patches with
Convolutional Neural Networks》
改进MC—CNN
最后决策层之前插入4p模块,结合不同大小窗口进行代价计算
《Left-Right Comparative Recurrent Model for Stereo Matching》
LRCR模型+soft attention
恒定高速网络生成代价卷——输入LRCRmox
左右图像——Siamese网络(每个分支包括几个残差块)——生成描述向量
然后,1两个特征向量级联,通过NIFC用交叉熵损失得到二元结果
2铰链损失处理两个向量点积层
获得代价卷
《EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching》
主干视差网络+边缘子网络
环境金字塔编码多尺度边缘信息,残差金字塔用于级联优化,边缘图充当隐式正则化和平滑损失
《 SegStereo Exploiting Semantic Information for Disparity Estimation》
加入分割语义信息
《Widening siamese architectures for stereo matching》
反卷积+相似性度量使用相关层
《 Self-Supervised Learning for Stereo Matching with Self-Improving Ability》
端到端+自监督+warp+self learing+在线方式
《Seki_SGM-Nets_Semi-Global_Matching_CVPR_2017_paper》
基于深度学习的惩罚估计方法
新的损失函数,可以呀稀疏注释视差图
SGM参数化,根据正负视差改变布局不同惩罚,以有区别的表示对象结构
《 Image Patch Matching Using Convolutional》
CNN提取判别描述符,L2范式作相似性度量
《1 DispSegNet Leveraging Semantics for End-to-End Learning of》
无监督 把语义分割加入视差估计网络为优化结构
同时输出视差和语义分割
《Guided Stereo Matching》
特征增强 从外部获得的少量稀疏可靠深度测量
增强与视差假设相关联的特征
《Group-wise Correlation Stereo Network》
分组相关代价卷+串联代价卷
改进BSM-Net的堆叠沙漏(移除快捷连接,添加1x1 3D卷积)
《1Reliable Multiscale and Multiwindow Stereo Matching》
多尺度+多窗口
《Stereo Matching Based on Edge-Aware T-MST》
最小生成树
《ActiveStereoNet End-to-End Self-Supervised》
《Feature Augmentation for Learning Confidence》
《GA-Net Guided Aggregation Net for End-to-end Stereo Matching》
《GeoNet Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose》
《Zoom and Learn Generalizing Deep Stereo Matching to Novel Domains Pang_Zoom_and_Learn_CVPR_2018_paper》
《What Makes Good Synthetic Training Data for Learning》
《Weakly supervised learning of deep metrics for stereo reconstruction》
《Robust Depth Estimation from Auto Bracketed Images》
《Occlusion-aware R-CNN》
《Multi-Scale Context Attention Network for Stereo Matching》
《LIFT Learned Invariant Feature Transform》
《Guided Stereo Matching》
《End-to-End Training of Hybrid CNN-CRF Models for Stereo》
《Euclidean and Hamming Embedding for Image Patch Description with》
《Detail-Preserving Pooling in Deep Networks-Saeedan_Detail-Preserving_Pooling_in_CVPR_2018_paper》
《Deeper Depth Prediction with Fully Convolutional Residual Networks》
《Deep self-guided cost aggregation for stereo matching》
《BERT Pre-training of Deep Bidirectional Transformers for》
《A Large Dataset to Train Convolutional Networks》
《Aggregated Residual Transformations for Deep Neural Networks》