增强！RAISR使用机器学习来锐化图像

RAISR: Rapid and Accurate Image Super Resolution
论文导读
论文链接：https://arxiv.org/abs/1606.01299
原文链接：https://ai.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html
原文发表于2016年11月14日

每天网络被用于分享和存储成万上亿张图片，可以让人们来探索世界，研究新的兴趣话题，甚至和朋友和家人来分享假期。但是，很多这些图片要么受到拍摄照片设备分辨率的限制，或者被故意降级来包容手机、平板电脑或是它们连接到网络的限制。随着高分辨率显示设备在家庭和移动设备的普及，对于低分辨率图像的高质量版本的需求，以及从不同种类设备快速查看和分享的需求，越来越高。

在"RAISR: Rapid and Accurate Image Super-Resolution"这篇论文中，我们引入了一种结合机器学习的技术，以生成高质量版本的低分辨率图像。RAISR产生的结果与当前可用的超分辨率方法相当或更好，并且大约快10到100倍，允许它在典型的移动设备上实时运行。 此外，我们的技术能够避免重建可能存在于较低分辨率图像中的混叠伪像。

上采样是从低质量图像产生具有明显更多像素和更高图像质量的更大尺寸图像的过程，已经存在了相当长一段时间。 众所周知的上采样方法是线性方法，其使用附近现有像素值的简单且固定的组合来填充新的像素值。 这些方法很快，因为它们是固定的线性滤波器（在图像上均匀地应用的恒定卷积核）。 但是，使这些上采样方法快速的原因也使它们无法在更高分辨率的结果中显示生动的细节。 正如您在下面的示例中所看到的，上采样图像看起来很模糊 - 人们可能会迟疑将其称被增强。

[图片上传失败...(image-2b3320-1541000618275)]
](https://upload-images.jianshu.io/upload_images/11550176-17eeb659682c6adf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

使用RAISR，我们使用机器学习并训练成对的图像，一个低质量，一个高质量，以找到过滤器，当选择性地将其应用于低分辨率图像的每个像素时，将重建具有和原图可比质量的细节。RAISR可以通过两种方式进行训练。第一种是“直接”方法，其中滤波器直接从低分辨率和高分辨率图像对中学习。另一种方法涉及：首先将计算上廉价的上采样器应用于低分辨率图像（如上图所示），然后从上采样和高分辨率图像对中学习滤波器。 虽然直接方法在计算上更快，但第二种方法允许非整数比例因子和更好地利用基于硬件的上采样。

对于任何一种方法，RAISR滤波器都是根据小片图像中的边缘特征进行训练的 - 亮度/颜色渐变，平面/纹理区域等 - 以方向（边缘的角度），强度（锐边有更高的强度）为特征和连贯性（一个边缘方向性的度量）。下面是一组RAISR滤波器，从10,000个高分辨率和低分辨率图像对的数据库中学习（其中低分辨率图像首先被上采样）。训练过程大约需要一个小时。

Collection of learned 11x11 filters for 3x super-resolution. Filters can be learned for a range of super-resolution factors, including fractional ones. Note that as the angle of the edge changes, we see the angle of the filter rotate as well. Similarly, as the strength increases, the sharpness of the filters increases, and the anisotropy of the filter increases with rising coherence.

从左到右，我们看到学习的滤波器选择性地对应于正在重建的下层边缘的方向。例如，底行中间的滤波器最适合具有高度连贯性（直线而不是弯曲的边缘）的强水平边缘（90度的渐变角度）。如果相同的水平边缘是低对比度，则选择不同的滤波器，例如在顶行中的一个。

实际上，在运行时，RAISR从学习滤波器列表中选择并应用最相关的滤波器到低分辨率图像中的每个像素邻域。当这些滤镜应用于较低质量的图像时，它们会重新创建与原始高分辨率质量相当的细节，并为线性，双三次或Lanczos插值方法提供显着改进。

Top: RAISR algorithm at run-time, applied to a cheap upscaler’s output. Bottom: Low-res original (left), bicubic upsampler 2x (middle), RAISR output (right)

RAISR的一些实例如下：

Top: Original, Bottom: RAISR super-resolved 2x. [Original image](http://upload-images.jianshu.io/upload_images/11550176-a7e724aecbb71313.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) from [Andrzej Dragan](http://www.andrzejdragan.com/)

[图片上传失败...(image-f9faa0-1541000618275)]
](https://upload-images.jianshu.io/upload_images/11550176-6480e806efca8a88.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

超分辨率的一个更复杂的方面是消除混叠伪像，例如当以较低分辨率渲染高频内容时出现的莫尔图案和锯齿（如图像故意降级的情况）。根据底层特征的形状，这些伪像可能会被变化并且难以撤消。

[图片上传失败...(image-8e7ef-1541000618275)])
](https://upload-images.jianshu.io/upload_images/11550176-4fe8928dd7474450.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

线性方法根本无法恢复底层结构，但RAISR可以。下面是一个例子，其中左边的低分辨率原件中的数字3和5下的混叠空间频率是明显的，而右边的RAISR图像恢复了原始结构。RAISR使用的滤波器学习方法的另一个重要优点是，我们可以将其专门用于去除作为训练过程一部分的各个压缩算法（如JPEG）所特有的噪声或压缩伪像。通过为其提供此类伪像的示例，RAISR可以学习撤消除了分辨率增强之外其他效果，使它们在作为结果的滤波器内“被烤熟”（这里原文用的是baked，感觉是被消除的意思，有待确认）。

Left: Low res original, with strong aliasing. Right: RAISR output, removing aliasing.

使用单个或多个帧的超分辨率技术已经走过了漫长的道路。如今，机器学习的使用与数十年成像技术的进步相结合，使图像处理方面取得了进步，从而产生了许多潜在的好处。例如，除了改善手机上的数字“双指缩放”外，人们还可以以更低的分辨率捕获，保存或传输图像，并且可以根据需要进行超级分解，而不会显着降低质量，同时利用较少的移动数据和存储。

要了解有关我们研究细节的更多信息以及与其他当前架构的比较，请查看我们的论文，该论文将很快出现在IEEE Transactions on Computational Imaging中。