【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset

要点1

本文提出了一种新的CycleGAN结构有用热成像的超分辨率,并且提出了一个thermal图像的超分辨数据集(含有三种不同分辨率的数据集,是用三个不同的Thermal传感器拍的)。提出的结构生成器是由ResNet6构成,判别器是由PatchGAN构成。

要点2

之前的工作:《Thermal image superresolution through deep convolutional neural network. 》中用到的仅仅是101张分辨率为640x512的Thermal图像(没有不同分辨率的图像),数据量非常少,所以本文才想要构建一个大的超分辨数据集(含有不同分辨率的数据集)

三种不同的Thermal传感器:
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第1张图片
这三个传感器的焦距还有所不同:
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第2张图片
第三种分辨率的传感器采集到的图片作者通过裁剪裁剪成了640x480大小的分辨率。

要点3

由于相机内参不同,配准后的图像还是会有不同的区域(可以理解为相机拍到的范围不同,有的区域在一个相机里能拍到,但是在另一个相机却拍不到)。
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第3张图片
图里出现的红边就是前面说的不同的区域。

要点4

进行PSNR和SSIM评价时,仅仅评价配准后图像中间区域(包括整幅图像的80%的部分)
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第4张图片
(PS:这里我的问题就是作者到底用了那种配准方法,是SIFT吗?为啥文章里不提一下……)

要点5

网络的结构如下:
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第5张图片
结构比较简单,损失也比较好理解:
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第6张图片
【热成像超分辨率】略读Thermal Image Super-resolution: A Novel Architecture and Dataset_第7张图片

你可能感兴趣的:(深度学习,计算机视觉,计算机视觉,人工智能,深度学习,算法)