关于长波红外(热成像)相机在机器人状态估计与VIO中的一些验证

今天结合机器人状态估计谈一下这块。

长波红外的工作波长是7-14μm，比我们肉眼看到的波长要长得多，实际的成像效果如下：

缺点一目了然：

1.无法给出画面具体细节

2.无法给出丰富的颜色信息以反映特征

3.还有一个隐藏的缺点就是长波红外通常只支持卷帘快门

但是长波红外(热成像)具备几个很突出的优点：

1.纯被动式感应，无法被侦察与探知(很适合特种领域的落地)

2.几乎完全不受光流与阴影的影响，这个是其最大的优点，在机器人状态估计的VSLAM中，光流和阴影的影响几乎是对系统准确性影响最大的因素。

3.画面信息比较简单，需要的开销很小。

4.价格也越来越便宜，以前大家只要一提热成像就是上万的东西，实际目前我们在机器人状态感知中用的最小单元模组已经千元级，相信未来随着技术和应用落地与深化成本会越来越低。

附一张微型中高分辨热成像相机的图

 

热成像相机具体的一些实验与验证工作如下：

1.使用传统的ORB SLAM前端已经很轻松的实现，通过角点和描述子达到的位姿估计效果比较稳定。

2.开始划重点：通过对热成像特性的一些思考，我们发现其直接使用类似DSO的直接法将能取得更好的效果！同时在精度提升，克服了光流和阴影的影响后，很好地降低了开销。目前因为一些融合融态的攻关工作所影响，这部分工作我们暂时停滞了，后续我们会将系统做得更完善，同时共享出工程和代码。

 3.后端优化工作不受影响，因为进入优化H矩阵的是PNP与三角化之后的回算位置姿态如三平移与三旋转q值。但目前回环工作受影响的程度还需要进行一些深化的实验与评估，对玻璃之类的视觉死穴表现略好(因为光学特性差异)，对完全无纹理区域表现基本和单目一样烂，最终大致效果如下：

这个是目前研究和实验工作的一小部分，热成像的vslam和多传感器融合总体还是更适合特种领域，大家可以保持关注。后续针对D相机应该会总体做一个系列。我写的话还是理论偏多，回头其他小伙伴们再补充工程和代码。