基于字典的图像超分辨率实现

简介

　　这段时间在看基于字典的单帧图像超分辨率重建，本篇主要是对这块做个笔记记录。

基本原理

预处理

     1、准备好用于字典训练的低分辨率图像LR及与之对应的高分辨率图片HR。
     2、将低分辨率图像双线性或者三次方插值到高分辨率图像相同大小，得到MR。
     3、将MR图像分成若干个3x3或者5x5之类的小块，小块之间有1x1或者2x2之类的重叠区域，对应的高分辨率图像同样对应坐标位置，分成这个多块。
     4、对MR的图像块做特征提取操作，可以是每个块减去该块平均值、或者是每个块做梯度散度提取。

非稀疏字典处理

方法一

     1、MR特征块集合作为低分辨率字典，对应的高分辨率块集合作为高分辨率字典。
     2、输入待处理的低分辨率图像，并用和字典训练一样的块大小做分割。
     3、所有低分辨率图像分割块做特征提取。
     4、每个特征块X，在低分辨率字典中找到最接近的K个块。
     5、通过这K个块，拟合得到最接近该特征块的权重系数A。
     6、找到高分辨率字典上对应的该K个块，乘上权重系数A，得到低分辨率块X对应的高分辨率图像块Y。
     7、循环计算，直到所有低分辨率块都得到对应高分辨率块。
     8、所有高分辨率块，根据之前分割坐标，反向贴合(块与块之间重合区域，直接平均)，得到结果的高分辨率图像。

     参考论文：Super-Resolution Through Neighbor Embedding

方法二

     1、MR特征块集合作为低分辨率字典，对应的高分辨率块集合作为高分辨率字典。
     2、将所有低分辨率块和高分辨率块集合，通过欧式距离，分成1024或者4096个类。
     3、每个类中，使用最小二程法之类，计算对应所属的低分辨率块到高分辨率块之间的投影矩阵。
     4、输入待处理的低分辨率图像，并用和字典训练一样的块大小做分割。
     5、所有低分辨率图像分割块做特征提取。
     6、找到每个低分辨率特征块X与字典中哪个类最接近，直接使用该类所属的投影矩阵，得到对应高分辨率块Y。
     7、循环计算，直到所有低分辨率块都得到对应高分辨率块。
     8、所有高分辨率块，根据之前分割坐标，反向贴合(块与块之间重合区域，直接平均)，得到结果的高分辨率图像。

     参考论文：Fast Direct Super-Resolution by Simple Functions

稀疏字典处理

   常规稀疏字典训练：
     1、首先通过DCT之内算法，得到一个初始字典。
     2、预处理得到的低分辨率特征块，在初始字典中找到最相关原子。
     3、该块和原子相减，得到残差，继续在字典中找到和该残差最接近的原子，继续相减，不断循环，直到残差对于设置阀值或者循环次数超过一定范围，所有对应原子位置，存入稀疏矩阵A中。
     4、循环处理，直到计算出所有块的稀疏矩阵A。
     5、保持所有稀疏矩阵A不变，迭代更新字典，每次更新之后保证所有稀疏矩阵A和字典生成的块与原始低分辨率特征块，误差更小。
     6、当误差小于某个阀值之后，便得到对应低分辨率训练字典。

     注意：用来去噪之类的字典可以这么训练，但是超分辨率重建需要高低分辨率字典联合训练，分别得到低分辨率字典和高分辨率字典，在这基础上，更复杂一点。
     参考论文：On Single Image Scale-Up Using Sparse-Representations.

   方法一：
     1、输入待处理的低分辨率图像，并用和字典训练一样的块大小做分割。
     2、所有低分辨率图像分割块做特征提取。
     3、每个特征块，在低分辨率字典中找到最接近原子。
     4、该块和原子相减，得到残差，继续在字典中找到和该残差最接近的原子，继续相减，不断循环，直到残差对于设置阀值或者循环次数超过一定范围，所有对应原子位置，存入稀疏矩阵A中。
     5、对应高分辨率字典和稀疏矩形A相乘，得到高分辨率图像块。
     6、循环计算，直到所有低分辨率块都得到对应高分辨率块。
     7、所有高分辨率块，根据之前分割坐标，反向贴合(块与块之间重合区域，直接平均)，得到结果的高分辨率图像。

     参考论文：1、Image super-resolution as sparse representation of raw image patches.
               2、On Single Image Scale-Up Using Sparse-Representations.

   方法二：
     1、在低分辨率字典中，每个原子找到若干个和它最接近的原子；高分辨率字典中，同样取出对应的这些原子。
     2、使用最小二程法之类，计算这些低分辨率块、高分辨率原子之间的投影矩阵。
     3、遍历完整个字典原子，最终每个原子，对应都有一团邻居原子及投影矩阵。
     4、输入待处理的低分辨率图像，并用和字典训练一样的块大小做分割。
     5、所有低分辨率图像分割块做特征提取。
     6、找到每个低分辨率特征块X与字典中哪个类最接近，直接使用该类所属的投影矩阵，得到对应高分辨率块Y。
     7、循环计算，直到所有低分辨率块都得到对应高分辨率块。
     8、所有高分辨率块，根据之前分割坐标，反向贴合(块与块之间重合区域，直接平均)，得到结果的高分辨率图像。

     参考论文：Anchored Neighborhood Regression for Fast Example-Based Super Resolution.

   方法三：
     与方法二类似，区别在于:计算投影矩阵时候，每个原子寻找邻居不是找其他原子，而是在训练用的低分辨率、高分辨率块中找，论文中建议是2048个。
   如此，计算出来的投影矩阵，得到的高分辨率图像，比方法二效果更好。

    参考论文：A+: Adjusted Anchored Neighborhood Regression for Fast Super-Resolution

效果演示

    4倍插值效果比较(左边为opencv双线性插值效果， 右边为低配版方法三效果）