【热成像超分辨率】 Unaligned Guided Thermal Super-Resolution

这篇文章没有找到可以下载的原文，找到了一个ppt。

要点一：

热成像三个应用方向：仪器检测，全天候视觉，健康看护。

要点二：

本文的动机：大多数热成像相机有一个可见光相机，而可见光相机有高分辨率，因此利用可见光的RGB相机来对热成像进行一个引导式的超分辨率是可行的。

而引导式方法需要进行pixel到pixel的配准（RGB到Thermal），但是由于成像波长的差异，比较难配准。本就就是想要通过设计一个不用配准的端到端的引导式超分辨的方法来解决这个配准的问题。

要点三：

提出的方法：

本文实验了两种方案，一种是在特征空间进行配准的方法，另一种是在输入空间上进行配准。注意这里说的配准并不是在图像层面的配准，而是端到端的结构中含有的配准模块，整个过程是包含在端到端的处理中的。

（1）特征空间配准：

这里面的loss如下：

主要包括特征的余弦距离和相互关系，优化的目标是让特征的余弦距离减小，而相互关系增大，这可能是一种特征对齐的方法。其中的这个corr暂时还不知道是如何计算的。

（2）输入空间的配准：


这里的msalignment-estimation block主要学习了一个refined map，通过这个refinedmap就能够将guide image扭曲成对齐好的图像，整个过程和一般的配准过程有些类似，只是利用深度学习的方法来学习配准所需的refined map。

这里唯一没有解开的疑惑是输入的warped-guidd stack是啥东西，是把一个guide图像扭曲成了不同的图像吗？然后这个训练的过程中的groundtruth是啥，如果是配准好的图像那么这个配准好的图像是怎么来的呢？
#要点四：
作者最后实验发现在特征空间上对齐要比输入空间上对齐的效果好。