《Meta-Transfer Learning for Zero-Shot Super-Resolution》——零镜头超分辨率的元迁移学习 论文学习笔记

概念先知：

单幅图像超分辨率：就是恢复高频信息

 

单幅图像超分辨重建是指只有一幅低分辨率观测图像的情况下，结合图像的一些先验知识，恢复出图像获取时丢失的高频信息，重建出一幅高分辨率的图像

图像超分辨率研究可分为 3个主要范畴： 基于插值、 基于重建和基于学习的方法．

PSNR：“Peak Signal to Noise Ratio”的缩写，即峰值信噪比，是一种评价图像的客观标准，它具有局限性，一般是用于最大值信号和背景噪音之间的一个工程项目，通常在经过影像压缩之后，输出的影像都会在某种程度与原始影像不同。为了衡量经过处理后的影像品质，我们通常会参考PSNR值来衡量某个处理程序能否令人满意。它是原图像与被处理图像之间的均方误差相对于(2^n-1)^2的对数值。

论文解决目标：从对应的LR图像中寻找合理的HR图像

最开始解决方案：基于CNN的SISR方法，基于大量的外部训练数据集和具有已知退化模型的自监督设置

eg."双三次"下采样。

卷积神经网络（CNN)在单幅图像超分辨率的局限性：

1.不能利用特定图像的内部信息

2.仅适用于受监督的数据的特定条件，没有太好的泛化能力

3.参数数量和内存开销大，不适合在实际应用程序中使用。

改进解决方案：零次超分辨率的灵活内部学习(ZSSR)

基于零镜头设置和CNN模型，但是很容易适应测试图像条件。ZSSR 只使用图像的内部信息（相似的结构，模式等）在某些情况下，它的性能优于基于外部的 CNN。此外，ZSSR 具有很高的灵活性，它可以处理任何模糊内核，因此很容易适应测试图像的条件。

局限：1.需要数以千计的反向传播梯度更新，需要很长时间才能得到·结果。

2.不能充分利用外部数据集，导致它在大多数区域的结果比一般基于外部·的方法差。

最新解决方案：基于零镜头超分辨率的元迁移学习方法(MZSR)

首先通过大量的外部数据找到一个适合内部学习的通用的初始参数。然后进行ZSSR。因此，我们可以利用外部和内部信息，其中一个单一的梯度更新可以产生相当可观的结果。利用该方法，网络能够快速适应给定的图像条件。在这方面，我们的方法可以应用于一个快速自适应过程中的图像条件的大范围。

优势：

1.基于元迁移学习的新训练方案，它学习了一个有效的初始权重，以便在零样本无监督设置下快速适应新任务。

2.同时使用外部和内部样本，可以利用内部和外部学习的优势。

3.该方法元测试时是快速、灵活、轻量级和无监督的，因此，最终可以应用于现实世界的场景。

 

 a.原低分辨率图像 b.零次超分辨率的灵活内部学习 c.预训练模型后的围条d.基于零镜头超分辨率的元迁移学习方法

MZSR方法：

可分为三大部分：大规模训练，元迁移训练，元测试。

 

 伪代码展示：

 总结：

本文提出了一种快速、灵活、轻量级的自监督超分辨率方法。具体来说，我们采用基于优化的元学习方法和迁移学习相结合的方法来寻找对不同模糊核条件敏感的初始点。因此，我们的方法可以快速适应特定的图像条件内的一些梯度更新。通过大量的实验，我们发现我们的 MZSR 方法比其他方法更好，包括 ZSSR 方法，它需要数千次的梯度下降法迭代。此外，通过复杂度评价，验证了该方法的有效性。然而，在网络体系结构、学习策略、多尺度模型等方面还有许多可以改进的地方

 

欢迎指正^_^ ~