Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution

代码：GitHub - danfenghong/ECCV2020_CUCaNet: Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution, ECCV, 2020. (PyTorch)https://github.com/danfenghong/ECCV2020_CUCaNet

模型数学支撑：

基本假设：

1. X图像来自于Z图像的空间退化（Spatial Degradation），即LrHS
2. Y图像来自于Z图像的光谱退化（Spectral Degradation）,即HrMS

又上式可得X、Y可解混成丰度值和端元组的乘积。

解混中的限制加快了学习的收敛：

1）物理上的约束：

2)假设：X、Y分别再次进行光谱退化和空间退化后，一定是可以对齐的

工作流程：

 卷积层+非线性层提取特征图，引入交叉注意力机制，得到另一分支的注意力，得到更丰富的特征，Clamp是一个范围［０，１］间的激活层来限制权重和为１，相当于模拟丰度值；端元子（ENDmember）是直接通过１＊１卷积核得来的。

解混：

高光谱解混：基于几何，统计，稀疏回归的方法概述_CV_Gr_nD的博客-CSDN博客_高光谱解混高光谱解混方法概述问题引入问题何来？基础知识核心任务基础方法线性与非线性模型线性混合模型非线性混合模型非线性方法的概述高光谱解混流程大气校正（Atmospheric Correction）数据减少（Data Reduction）解混（Unmixing）反演（Inversion）本文为论文笔记，目的是自己看过的论文别忘了。。。问题引入问题何来？由于高光谱成像仪（又称Hyperspectral Cameras HSCs)的快速发展，它可以在一瞬间收集到成百上千的光谱通道，这远远多于过去的多光谱摄像机。由https://blog.csdn.net/CV_Gr_nD/article/details/118702200

注意力机制：

 中，Fl相当于query,​​​​​

 是计算注意力权重的，key和value是在卷积中体现的。

光谱一致性：缩小解空间，无监督学习SRF、PRF

思考总结：

1）可以通过交叉注意力机制来得到另一支路关注的特征，进而提高特征提取的质量。

2）空间光谱一致性：HSI和MSI都进行光谱退化和空间退化，然后输出相同，这样子可以缩小解空间，加快收敛，无监督学习SRF、PRF。

3）一张图片可通过解混，得到端元组和丰度值

限制条件：