基于模型驱动的深度学习高光谱图像融合研究_孙杨霖

可以借鉴一下她的国内外现状研究部分,写得挺好的

目前的高光谱图像融合方法可以大致分为三类:传统数学方法(成分替代和多分辨率分析)、变分方法(贝叶斯、矩阵分析)以及基于深度学习(输入级、特征级和模型级融合)的方法。其中前两种方法也可以被统称为传统高光谱图像融合方法。

  • 成分替代法,把LRHSI投影到更高维的空间,分离空间信息和光谱信息,再用HRMSI的空间信息替代LRHSI的空间信息

  • 多分辨率分析法,对HRMSI进行空间滤波注入到LRHS的空间细节(拉普拉斯金字塔滤波)

  • 输入级融合,把HRMS和LRHS直接在光谱维度上串联当做输入,把目标HRHS当做标签进行训练。

  • 特征级融合,利用不同的分支网络提取一对图像中空间和光谱信息,最后再把这两者融合。特征级融合主要关注 HRMS 和 LRHS 分别带有的空间与光谱信息,因此网络多以分支形式出现。

  • 模型级融合,模型级融合通常以传统的数学方法作为根据,按照数学分析方法对融合问题进行建模,之后把对模型求解的算子转换为深度网络的结构。融合网络通常是对传统数学方法或是变分优化方法的网络式模拟,因此兼具很强的可解释性和鲁棒性。

  1. 高光谱图像观测模型:

X : H R H S I Y : L R H S I Z : H R M S I X:HRHSI\quad\quad\quad Y:LRHSI\quad\quad Z:HRMSI X:HRHSI

你可能感兴趣的:(深度学习)