论文笔记1

论文：Deep_Residual_Learning_for_Boosting_the_Accuracy_of_Hyperspectral_Pansharpening

GitHub - yxzheng24/IEEE_GRSL_DRCNNContribute to yxzheng24/IEEE_GRSL_DRCNN development by creating an account on GitHub.https://github.com/yxzheng24/IEEE_GRSL_DRCNN

解决问题：由于高光谱图像的宽频谱和低空间分辨率，深度学习不能很好的用到高光谱图像融合。

研究内容：下面一条支路中，通过对比度有限直方图均衡（CLAHE算法）增强图像边缘细节，CLAHE后的图像作为引导图像;上支路中，图像先下采样得到，再上采样（双三次插值），变换后的图像作为输入图像，都通过导向滤波器得到图像（称为初始图像），再通过残差卷积神经网络计算初始图像和参考图像的残差，残差图像+初始图像得到融合图像。

Upsamping and downsampling(上采样和下采样)： 

下采样：下采样中，提取图像的轮廓特征和高维度特征，得到特征点热图，降低图像中的噪声和扰动；同时，一开始卷积核覆盖图像的范围小，通过下采样，图像大小减小，卷积核的感受野就能覆盖到特征图的更多部分，增加感受野的大小。

注意：下采样中，边缘特征会减少，但是高维度的特征会学习到。

下采样方法：类似CNN中，用卷积核来缩小图像，但是没有全连接层。

上采样：把抽象的特征还原解码到原图的尺寸

上采样方法：插值、反卷积。

①双线性插值：

②反卷积：

padding以后再卷积，虽然会放大图像，由于边缘处padding的0太多，图像信息比较少，所以图像边缘效果会很差。 

像素点周围补零反卷积，达到均衡的效果，但是补零了，但如果经过多层补零，边缘信息还是会丢失，所以采用下面FCN网络。

FCN：

思想：下采样中低维度信息丢失，但保留了高维度信息，如果同时结合高维度信息和低维度信息就可以得到比较好的结果。FCN中，先多次下采样得到多个维度的图像，然后pool5上采样放大到二维，跟pool4相加，这样既有pool4又有pool5的信息，然后再把相加后的再上采样，不断与之前的pool相加，即可保留多维的信息。

多次下采样，就是为了让卷积核覆盖到图像更大的区域，学习到更深层次的信息，然后上采样中再恢复大小。同时，下采样会减小图像中的噪声，再恢复就能得到好的结果。

CLAHE：

HE:

步骤：

1.统计灰度级中每个像素再整幅图像中的个数

2.计算每个灰度级占图像中的概率分布

3.计算累计概率分布

4.计算均衡化之后的灰度值

5.映射回原来像素的坐标的像素值

original img pixel:

next

formula:

其中，max-min是定值，例如8位图像就是255-0，这里的像素不是指该图像所拥有的像素。

算法改进：HE-AHE-CLAHE

HE：由原图直方图求取的映射函数对整幅图像像素进行相同的变换，是全局上的改变，可能会带来均衡化后直方图右移，而不是铺展，这样不能提高对比度，适用于像素值分布均衡的图像。

AHE：将图像分块，利用每块窗口的直方图来构建映射函数，对子块进行像素映射，改善对比度和获得更多局部细节，但是可能会带来块状问题和局部对比度提高过大，导致图像失真。

CLAHE：设置阈值，将灰度分布直方图中超过该阈值的进行裁剪，再平均分配给各个灰度级，使映射函数平缓，避免过度增强，再通过邻域的插值得到像素值，避免AHE的图像块状边缘不连续。

注意：映射函数与累计概率有关，那么也就是映射函数可以由累计概率分布直方图（CDF）看出，映射函数越平（斜率小），也就是累计概率变化小，那么各个像素点乘以对应的累计概率差值就没那么大，只有映射函数斜率高，对比度变化明显，所以限制对比度，就是限制CDF斜率。CDF又相当于灰度分布直方图（Hist)的积分，所以限制CDF斜率就是限制Hist的幅度（斜率可以理解成Hist的积分求导就是Hist）。

参考文章：

https://blog.csdn.net/u010839382/article/details/49584181?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_linkhttps://blog.csdn.net/u010839382/article/details/49584181?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_linkhttps://blog.csdn.net/u010839382/article/details/49584181?utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~default-3.no_search_link

参考视频：

https://www.bilibili.com/video/BV1wv411i7pH?from=search&seid=5123767484813821738&spm_id_from=333.337.0.0https://www.bilibili.com/video/BV1wv411i7pH?from=search&seid=5123767484813821738&spm_id_from=333.337.0.0https://www.bilibili.com/video/BV1wv411i7pH?from=search&seid=5123767484813821738&spm_id_from=333.337.0.0

 

Guided Filter（导向滤波）：

考虑到像素空间差异和强度差异，将引导图像的结构信息放到输出图像中，同时有边缘保持的作用。

https://blog.csdn.net/weixin_43194305/article/details/88959183?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163437438916780269810567%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163437438916780269810567&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-88959183.pc_search_es_clickV2&utm_term=%E5%AF%BC%E5%90%91%E6%BB%A4%E6%B3%A2&spm=1018.2226.3001.4187https://blog.csdn.net/weixin_43194305/article/details/88959183?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163437438916780269810567%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163437438916780269810567&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-88959183.pc_search_es_clickV2&utm_term=%E5%AF%BC%E5%90%91%E6%BB%A4%E6%B3%A2&spm=1018.2226.3001.4187https://blog.csdn.net/weixin_43194305/article/details/88959183?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163437438916780269810567%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163437438916780269810567&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-88959183.pc_search_es_clickV2&utm_term=%E5%AF%BC%E5%90%91%E6%BB%A4%E6%B3%A2&spm=1018.2226.3001.4187

DRCNN（深度残差卷积网络）：

提出原因：更深的Model在train时比浅层model效果更差，可能因为层数多的更难优化，从函数的角度来看，就是后面的层数函数变复杂了，值域变大了，但是不一定靠近目标。

思想：每个块嵌套前面块的结果，,这样即使没学到东西，也保持了前一块的特征，所以训练效果肯定不会变差。浅层的结果很好（恒等映射）很好，那么残差就可以为0，不好就加上残差进行调整，就可以尽可能的靠近真实值了。神经网络只需要拟合残差，不需要拟合复杂的映射。

解决网络退化的机理：

①深层梯度回传顺畅：恒等映射这一路梯度是1，深层梯度回传防止梯度消失。

②修正上一层的误差。

③传统线性结构网络难以拟合恒等映射，传统线性网络总会调整一些权重，使恒等映射改变，造成信息损失，残差+恒等映射就可以保留恒等映射，还可以加入残差调整。

 Densenet是Resnet的改变

参考视频：https://www.bilibili.com/video/BV1vb4y1k7BV?spm_id_from=333.999.0.0https://www.bilibili.com/video/BV1vb4y1k7BV?spm_id_from=333.999.0.0https://www.bilibili.com/video/BV1vb4y1k7BV?spm_id_from=333.999.0.0

创新点：

结果：

个人总结：