论文速递 Nature 2023 | Heat-assisted detection and ranging

注1:本文系“计算成像最新论文速览”系列之一,致力于简洁清晰地介绍、解读非视距成像领域最新的顶会/顶刊论文(包括但不限于 Nature/Science及其子刊; CVPR, ICCV, ECCV, SIGGRAPH, TPAMI; Light‐Science & Applications, Optica 等)。
本次介绍的论文是: 2023年,Nature,“Heat-assisted detection and ranging”
文章DOI: https://doi.org/10.1038/s41586-023-06174-6。

Nature 2023 | 利用热辐射信号实现无源探测与测距

1 引言

随着工业4.0和智能技术的发展,自动驾驶汽车、服务型机器人等智能设备正在快速普及。这些设备需要能够对周围环境进行感知,以做出无人干预下的决策。然而,目前主流的有源传感模式如雷达、声纳等存在信号干扰的问题,无法实现大规模的同时环境感知。利用热辐射信号进行全被动探测和测距,将是一种突破。

2 动机

传统的热成像存在“ghosting效应”,图像质量较差。其原因在于,目标物体的热辐射信号受到温度、发射率和表面纹理三个物理量的共同影响。这三个量之间存在一一对应关系,导致传统手段无法有效解析热信号。

3 方法

• 利用TeX分解的方法克服“ghosting效应”。将目标的热辐射信号S拆分为温度T、发射率e和表面纹理X三个独立成分。

• 将TeX属性可视化成TeX视觉。即将T映射到饱和度,e映射到色调,X映射到亮度,形成富含场景信息的图像。

• 基于物理模型设计TeX-Net,实现逆向TeX分解。Network结构包含:

  • 谱域和金字塔注意力机制,同时利用空间和谱域信息
  • 物理辐射模型约束,保证反演唯一性
  • 材质库输入,降维提特征

• 推导信息理论下限, 描述噪声对目标识别和测距的影响。

4 实验与结果

• 构建了HADAR数据库,包含多种复杂场景。

• 设计两种HADAR原型机:低成本滤光器轮换与高端掠扫式成像。

• TeX视觉成功克服热成像的模糊效应,提供清晰纹理。

• 夜间HADAR测距优于传统热成像测距,且与白天RGB视觉效果相当。

• 探测与定位也得到显著提升。譬如,可有效区分真人与纸板人,解决幻影制动问题。

• 热成像温度测量达到C-R下限,优于现有非接触测温技术。

5 不足与展望

• 实时采集与处理存在瓶颈,有待优化。

• 运动场景下的时间-空间模糊需要进一步研究。

• 功能与成本需权衡优化。

6 总结

本文提出了HADAR框架,实现了利用热辐射进行无源探测与测距。HADAR克服了传统热成像的局限,提供清晰视觉效果。测距与定位性能也得到大幅提升。HADAR技术可推动自动驾驶、医疗监测等领域发展,对工业4.0具有重要意义。

总体来说,本文通过TeX分解与TeX视觉,成功利用热辐射信号实现被动探测与测距,是该领域的重要进展。HADAR数据库与原型机验证了方法的有效性。信息理论下限也为进一步研究提供理论指导。本文为基于热信号的智能感知打开新的视野。