有码变高清！AI一秒还原马赛克，杜克大学出品

　　像素不够，后期修图来凑？

　　在知乎搜索低像素修图，结果求助帖多到刷不完，而且从 PS 技巧、插件神器到各类修图 App 教程多到眼花缭乱，重点是效果不知道会怎么样。

　　不过，近日杜克大学（Duke University）研究团队开发了一款 AI 修图黑科技 PULSE，可以解决所有低像素烦恼。据说它能够将图像原始分辨率放大 64 倍，任何渣画质都可以秒变高清、逼真图像，甚至被打了马赛克的人脸图像，毛孔、皱纹，头发也都能被清晰还原。

　　马赛克秒变高清人像

　　PULSE 是一种新型超分辨率算法，它通过潜在空间探索对照片采样，可以将 16x16 像素的低分辨率（Low Resolution，简称 LR）放大到 1024x1024 像素的高分辨率（High Resolution，简称 HR），在几秒内增加了 64 倍，而传统方法最多只能放大 8 倍。

　　先来看一组示例，修图界最难处理的 LR 大头照，经过 PULSE 也可以秒变高清、细腻的图像。

　　更重要的是，PULSE 可以定位面部的关键特征，以更高分辨率生成一组类似的细节。图中尽管头像被打上了马赛克，PULSE 也可以自行“想象”出诸如眉毛、睫毛、头发、脸型等面部细节，形成高清、逼真人像。

　　不过，过度虚化产生的人像只是一种虚拟的新面孔，事实上它并不存在。正因如此，这项技术不能用于身份识别。比如监控摄像头拍摄的失焦、无法辨别的图片，不能通过 PULSE 还原成真实存在的人像。

　　一位杜克大学研究小组的计算机科学家 Cynthia Rudin 说“此前从来没有如此超高分辨率的图像被制作出来，它能够产生不存在的新面孔，而且看起来很真实”。

　　同时，她补充到，这项研究所采取的技术可以广泛应用于医学、显微镜、天文学，以及卫星图像等领域。另外，该研究团队已将论文已经发表至预印论文库 arVix，同时被 IEEE 国际计算机视觉与模式识别会议（CVPR 2020）收录。

　　“缩减损失”，超越常规修图法

　　对于一个 LR 图像，传统将 HR 分辨率部分匹配给 LR 图像而获取超高分辨率（SR）的方式，往往会导致 HR 图像出现感光度差、不平滑，画面失真的情况。

　　在本次研究中，杜克大学研究团队开拓了一种新思路，提出新型超分辨率算法 PULSE，它不是遍历 LR 图像来慢慢添加细节，而是发现与 HR 相对应的 LR，通过“缩减损失”的方式得到 SR 图像。

原始 LR (第一行),PULSE 输出 HR（中间行）,HR 对应的 LR (最后一行)

　　PULSE 使用了生成对抗网络（GAN），它是一种训练模型，顾名思义，通过对抗博弈的方式来进行目标训练。其主要结构包括一个生成器（Generator）和一个鉴别器（Discriminator），在同一组照片训练中，一个负责训练接收到的图像并输出，一个负责接收该输出，并检验其是否足够逼真。

　　以下是与原图对比后的试验结果：

　　图中，第一行为原图，第二行为通过“缩减损失”得到的 HR 所对应的 LR，而第三行经过 PULSE 得到的 HR，可以看出，尽管与原图还存在细微的差别，但还原度已经非常高。

　　论文中表明，为了检验 PULSE 在 SR 方面的优势，杜克大学研究团队采用 4 种不同的图像缩放方法与其进行了比较研究。本次研究利用 CelebA HQ 数据集中的 1440 张图像，以 x8，x64 的比例因子，对 LR 面部图像，尤其是眼部、唇部以及头发等细节之处进行了试验。

　　PULSE 呈现出了明显的优势，尤其是在 X64 分辨率下，模糊头像被完全还原，尤其是在眼唇等细节之处，其他方法几乎达不到这样的效果。

　　另外，针对测试结果，研究人员采用感知超分辨率常见的 MOS 测试方式，邀请五位评分者对图像结果进行了1-5 的打分，结果显示，HR 源高清图像分辨率得分为 3.74，而 PULSE 达到了 3.60，仅差 0.14，可以说几乎达到了真实的高质量图像的水平。

　　不过，研究人员也承认 PULSE 还不是很完美。它产生的高分辨率图像与专业原图像相比还有一定的差别。但随着技术和工具的改进，这项技术会被一点点的完善。

　　现在研究团队已经将 PULSE 发布到 Github 开源平台，而且收割了 569 科颗星星。有修图烦恼的朋友可以安装体验一下~（Github 地址：https://github.com/adamian98/pulse）

　　引用链接：

　　论文地址：https://arxiv.org/pdf/2003.03808.pdf

　　http://pulse.cs.duke.edu/

　　https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/

　　https://www.rt.com/news/492091-ai-tech-undo-pixelation/