高光谱图像的光谱超分辨（HSI-SR)

代码：GitHub
论文：ECCV

创新点

1. 提出了一个叫做 CUCaNet的无监督高光谱超分辨模型，将高光谱的物理混合特性建模进入网络。
2. 设计了一个交叉注意模块（Cross-Attention)，可以提取HSI/MSI中的空间或者光谱信息到另一个分支，产生更充分的空间光谱信息混合。
3. 使用正则化来约束解空间，使其收敛更快。

Coupled Unmixing Nets with Cross-Attention

模型总览

• Backbone: 双流的卷积自编码，将HS与MS数据分解为端元与对应丰度值
• 受CNMF影响，将融合后的HrHSI作为HSI分支的映射结果输入MSI分支。
• 另外两个卷积层模拟空间与光谱下采样过程
• 使用合适的一致性，必要的解混机制
• 首次将Cross-attention引入

输入/出介绍

1. 拥有低分辨率，但多光谱通道的LrHSI图像X
2. 拥有高分辨率，但低光谱通道的HrMSI图像Y
3. 以上两者均成对出现，为同时的两张照片
4. 输出目标为与Y相同空间分辨率（单通道像素数），和与X相同通道数的，目标图像HRHSI——Z

基本假设

退化假设

1. X图像来自于Z图像的空间退化（Spatial Degradation）
2. Y图像来自于Z图像的光谱退化（Spectral Degradation）
   因此，两者分别再次进行光谱退化和空间退化后，一定是可以对齐的。

混合假设

由于高光谱图像的混合特性，假设最终图像的端元组为A，对应丰度值为S
因此退化过程就可以视为：

其中C表示PSF（point spread function）
R表示SRF（spectral response function）

因此，由上可知，理想的解混应该是通过上述两个式子，结合C，R两个先验知识，分别解出S与A

约束

由于直接从X，Y到S和A是在空间上不可能的，一次你必须加入约束，例如丰度和为一约束（ASC）和丰度非负约束（ANC）。

但是，由于C，R先验知识很难获得，因此，采用了两者在再次退化上对齐，使低分辨率低光谱图象U成为最终目标。

网络架构

双编码器

由卷积+LReLU块组成（1*1卷积）

Cross-Attention

First. 分别在LrHSI和MrMSI分支上计算空间与光谱注意力
Second. 将原始特征与另一个分支注意力图相乘，得到重要的跨分支信息
Finally. 将原始特征与以上的交叉乘法聚合起来，并作为下一层的输入

空间光谱一致性

损失函数

1. 基础重建损失，使用了L1范数
   
2. ASC约束损失：
   3. KL散度损失