学习笔记11月21日

Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration

一、摘要
最近基于学习的图像融合方法在预配准多模态数据方面取得了许多进展，但由于空间变形和难以缩小跨模态差异，在处理未对齐多模态数据时出现了严重的重影。为了克服这些障碍，本文提出了一种鲁棒的无监督跨模态红外与可见光图像融合交叉模态生成-配准范式。为了更好地融合配准的红外图像和可见图像,本文提出了一个特征交互融合模块(IFM),以自适应地选择更有意义的特征经由双路径交互融合网络进行融合.
关键词 图像融合, 跨模态配准, 感知风格迁移, 自适应特征交互。
二、实现过程
1、引言
我们提出了一种专门的跨模态生成配准范式，用于无监督的未对齐红外和可见图像融合。红外图像的一个固有特征是重结构,轻纹理。换句话说，几何结构对于红外图像是必不可少的。生成保留清晰结构信息的伪红外图像更有利于实现失真红外与生成的伪图像之间的单模态配准。
本文进一步进行配准红外图像和可见图像的融合。为了使融合网络能够更多地关注真实的纹理细节，同时避免由一些不成熟的融合规则（例如,连接、加权平均）引起的特征平滑,本文开发了一个交互融合模块来自适应地从红外和可见光图像中选择有意义的特征以实现具有
清晰纹理的融合结果。我们在人工处理过的未对齐数据集上评估所提出的方法，并通过综合分析证明其优势。本文的主要贡献总结如下：
提出了一种高度鲁棒的无监督红外和可见图像融合框架,与专门用于预配准图像的基于学习的融合方法相比,该框架更侧重于减轻由未对齐对图像融合引起的重影。
考虑到跨模态图像对齐的难度,本文开发了一种专门的跨模态生成配准范式来弥合模态之间的巨大差异,从而实现有效的红外和可见图像对齐。
开发了交互融合模块,自适应融合多模态特征,避免了融合规则不成熟导致的特征平滑,强调了可信的纹理细节。
2、方法
三、实验结果

四、结论

今天先写到这里了，不想写了。。。。因为不了解图像融合。。。明天继续