概述性说明热与视觉合成与现有基于可见光的面部识别系统的互操作性
陆军研究人员开发了一种人工智能和机器学习技术，通过在低光照或夜间条件下拍摄人脸热图像产生可见的人脸图像。这种发展可能导致增强的实时生物特征识别和后期任务取证分析，用于隐蔽的夜间操作。
像FLIR这样的热像仪或前视红外传感器主要用于高空和地面车辆，监视塔和检查站以进行监视。最近，热像仪正在变得可用作身体穿戴相机。使用这种热成像摄像头在夜间进行自动脸部识别的能力有助于通知士兵个人感兴趣的人，例如可能在观察名单上的人。
这项技术的动机 - 由Drs开发。来自美国陆军研究实验室的Benjamin S. Riggan，Nathaniel J. Short和Shuowen“Sean”Hu将增强自动和人工匹配能力。
研究科学家Riggan说：“这项技术可以在热图像和现有的仅包含可见面部图像的生物识别人脸数据库/观察列表之间进行匹配。” “该技术为人类提供了一种方式，通过热到可见的面部合成，在视觉上比较可见和热面部图像。”
他表示，在夜间和光线不足的情况下，传统相机没有足够的光线捕捉面部图像进行识别，而没有主动照明，如闪光灯或聚光灯，这会放弃此类监控摄像头的位置; 然而，捕获活性皮肤组织自然产生的热信号的热摄像头非常适合这种情况。
Riggan说：“当使用热像仪捕获面部图像时，主要挑战是捕获的热图像必须与仅包含来自已知感兴趣人员的传统可见图像的观察列表或图库匹配。“因此，这个问题就变成了所谓的互谱或异质的人脸识别，在这种情况下，一种模式下获取的面部探测图像与使用不同成像模式获取的图库数据库相匹配。”
这种方法利用了基于深度神经网络的先进的领域适应技术。基本方法由两个关键部分组成：非线性回归模型，将给定的热图映射为相应的可见潜在表示，以及将潜在投影投影回图像空间的优化问题。
这项工作的详细内容在3月份的技术论文“Thermal to Visible Synthesis of Face Images using Multiple Regions”中被发表在IEEE计算机视觉应用冬季会议或WACV在内华达州塔霍湖的技术会议上，该会议包括来自学术界，工业界和政府的学者和科学家。
在会议上，陆军研究人员证明，将全局信息（例如整个脸部的特征）与局部信息（例如来自识别性基准区域的特征，例如眼睛，鼻子和嘴巴）相结合，增强了合成的可区分性图像。他们展示了来自全局和局部区域的热 - 可见映射表示如何可以结合使用来合成精致的可见面部图像。
合成图像的优化问题试图共同保留整个脸部的形状和局部基准细节的外观。使用合成的热变图像和现有的可见图库图像，他们使用常见的开源深度神经网络架构进行人脸验证实验，用于人脸识别。所使用的架构明确设计用于基于可见的人脸识别。最令人惊讶的结果是他们的方法比先前显示照片般逼真属性的生成对抗网络方法取得了更好的验证性能。
Riggan将这一结果归因于GAN的游戏理论目标立即寻求在动态范围和类似于照片的外观上产生足够类似于训练图像的图像，而有时忽略保留识别特征的事实，他说。由ARL开发的方法保留了身份信息以增强可辨识性，例如，自动人脸识别算法和人体裁判的识别准确性提高。
作为论文演示的一部分，ARL研究人员展示了这项技术的近实时演示。概念验证演示包括使用FLIR Boson 320热成像摄像头和几乎实时运行算法的笔记本电脑。该演示向观众展示了一个人可以采集的热图像在现场生成合成的可见图像。这项工作在会议的面孔/生物识别会议上获得了最佳论文奖，其中有70多篇论文被提交。
里格根说，他和他的同事们将继续在国防取证和生物识别机构的赞助下扩大这项研究，为士兵开发强大的夜间人脸识别能力。