Unsupervised Cross-spectral Stereo Matching by Learning to Synthesize

无监督交叉光谱立体匹配的目的是在没有任何深度或视差监督的情况下恢复给定交叉光谱图像对的视差。估计深度为原始图像提供了补充信息，有助于其他视觉任务，如跟踪、识别和检测。然而，不同光谱波段的图像之间存在较大的外观差异，这对跨光谱立体匹配是一个挑战。现有的深部无监督立体匹配方法对图像的外观变化很敏感，不能很好地处理交叉光谱数据。提出了一种基于图像到图像转换的无监督交叉光谱立体匹配框架。首先，一个风格适应网络通过循环一致性和对抗性学习在不同的光谱波段转换图像，在此期间，外观变化最小化。然后，利用视场重构损失对来自同一光谱的图像对进行立体匹配网络训练。最后，利用估计的差异对光谱转换网络进行端到端的监控。此外，为了提高频谱变换的鲁棒性，提出了一种新型的自适应网络F-cyclegan。我们的方法可以处理外观变化，增强无监督交叉光谱立体匹配的鲁棒性。实验结果表明，该方法在不使用深度监督和显式语义信息的情况下取得了良好的性能。