MSFSR: 一种通过增强人脸边界精确表示人脸的多级人脸超分辨率算法（读书笔记）

MSFSR: A Multi-Stage Face Super-Resolution with Accurate Facial Representation via Enhanced Facial Boundaries 2020 CVPR

MSFSR：一种通过增强人脸边界精确表示人脸的多级人脸超分辨率算法

1、摘要

  大部分人脸超分辨（Face Super-Resolution (FSR)）方法通过使用特殊的脸部先验作为引导，在给定的低分辨率（LR）超级分辨率为高分辨率（HR）。为了改善FSR的效果，在过去十年里出现了各种各样的脸部表征。但是，仍然存在有一个困难是在LR图像估计高质量的面部表征。为了解决这个问题，我们提出了一种新的面部表征方法：提高面部边界--语义上连接面部界标点，增强的面部边界保留了丰富的语义信息，并且对于不同的空间分辨率范围具有鲁棒性。 在提高面部边界的前提下，我们设计了新颖的多阶段FSR（MS-FSR）方法，目的是为了应用多阶段策略去恢复高质量人脸图像。增强的面部边界和从粗到细的监控有助于面部边界估计过程产生高质量的面部表示。FSR任务的一次性投影被分解为多个更简单的子流程。通过这些方法，MSFSR可以估计出更健壮的面部表示，并获得更好的性能。

2、介绍：

实验背景：

   人脸图像不同于其他真实世界的图像，其高度结构化的形状和丰富的上下文信息具有明显的分布。

实际问题：

  人脸图像有时处于低分辨率（LR）模式，因为它们是在使用劣质摄像头传感器的低质量场景下拍摄的，而且距离需要识别的人脸很远，这使得高级人脸应用，例如人脸识别、人脸操作和人脸对齐，都很困难。

解决方法：

  要解决此问题，请使用人脸超分辨率（FSR）。人脸幻觉是仅重建人脸图像的超分辨率（SR）技术。 FSR技术旨在从LR面部图像重建视觉吸引人的高分辨率（HR）图像。 FSR作为一种针对特定领域的SR技术，由于考虑到面部图像的特定几何结构，因此可以有效地减少重建的HR面部图像中的模糊和失配纹理（图1中的第一行）

FSR技术较以往的优点：

  为一种经典的特定于域的SR技术，FSR可以有效地减少重建HR人脸图像中模糊和不匹配的纹理（图1中的第一行），因为它考虑了人脸图像的特定几何结构

但是FSR仍然存在技术问题：

  自FSR提出以来，不断通过各种卷积神经网络（CNN）[7、8、9]和生成对抗网络（GANs）[10、11]产生逼真的面部图像，这些方法[2，12]中的少数方法采用了各种面部属性向量作为面部特征。然而，这些方法仅专注于特定的面部属性，这导致产生错误的面孔。 **FSR的大多数方法都基于多种结构的面部表示，例如面部解析图[4]，面部界标点[3]和密集的对应字段[7]。  

①问：最近的FSR方法估计了沙漏结构变体的面部特征，由于其模型容量原因，沙漏结构无法估计复杂的表现。发现合适的人脸信息最主要挑战在于发现丰富的语义信息、复杂度低的人脸特征。面部标志点是FSR方法中最常用的面部特征之一。地标点所承载的语义信息与地标标注的密度密切相关。不幸的是，估计密集地标点需要在FSR任务中不可用的HR人脸图像。采用人脸解析映射，在像素级标注上保留来自其固有属性的附加语义信息。然而，面部解析图的获取成本非常高，并且它们往往会分离面部组件，而忽略面部组件（例如鼻梁）的内部几何结构。

    **如图1（e），（f）所示，这些基于先验的方法能够生成具有更好视觉质量的面部图像。不幸的是，图1（e）是由利用面部界标点的网络生成的，它在重要的面部组件（如眼睛）上发生了变形。具有面部解析图的FSR网络[4]重建了具有每个面部成分精确定位的面部图像，而这些图像丢失了鼻梁上的内部结构细节，如图1（f）所示。为了解决这些问题，应该探索新颖的面部结构表示以改善FSR性能。

解决：增强的面部边界  不仅包含了面部地标点的几乎所有信息，而且还包含了连接线中更多的语义信息，可以完全表示面部的基本几何结构

  ②问：在引入的原始面部边界线设置中，人眼轮廓分为上边界和下边界。这种分离有利于HR中眼睛周围地标点的准确定位。但在LR图像中，人眼的轮廓被减少到几个像素，这使得很难估计准确的面部结构。

解决：我们选择在人眼上形成闭环，通过我们新颖的增强面部边界（例如面部轮廓、眉毛、鼻梁、眼睛和嘴巴轮廓），我们可以有效地建模面部的几何结构。此外，如图3所示，随着人脸图像的空间分辨率降低，人脸地标点可能会沿边界移动。相反，增强的面部边界在处理不同分辨率尺度时仍然保持稳定。由于人脸结构的鲁棒性，我们在FSR网络中选择增强的人脸边界作为人脸结构特征。

本文主要提出方法：

（1） 提出方法：

   Wuet等人[13]首先在野外面部对齐任务中采用了13条面部边界线。考虑到人脸对齐任务中人脸边界线的优越性，我们设法扩展人脸轮廓表示中人脸边界线的鲁棒性以促进FSR任务。这是因为与固有的连续性相比，面部边界线比纯粹的界标点携带更多的语义引导。在我们的设计中，我们简化了原始的13个面部边界的定义，并删除了模棱两可的定义以适合FSR任务中的LR图像。

图1（g），（h）证实了所提出的11个增强的面部边界的有效性。基于这些考虑，我们设计了一个新颖的FSR框架，即包含三个针对FSR优化的基本模块的多级网络（MSFSR）。三个基本模块是基本预处理模块​​（BPM），边界估计模块（BEM）和边界融合模块（BFM）。另外，提出了从粗到细的监督和跨阶段的快捷连接，以进一步提高MSFSR的性能。

 
（2）本文主要贡献：

  ①在FSR任务中，是在LR图像估计高质量的面部表征时提出了一种新的面部表征方法----提高面部边界。根据语义将面部标志点连接起来形成的，提高脸部边界、连接边界的连续性附加了更丰富的语义信息、并对姿态和变化较大的人脸保持鲁棒性。

  ②提出新的FSR框架，即多级网络（MSFSR），其中包含三个针对FSR优化的基本模块。分别是基本预处理模块（BPM）、边界估计模块（BEM）和边界融合模块（BFM）

  ③为了进一步提高MSFSR的性能，还提出了从粗到细的监控和跨级快捷连接。我们引入MSFSR网络来提高重建图像的质量，将增强的面部边界与三个基本模块集成到一个多级网络设计中，并提出了一种从粗到细的监控方法，以数字方式约束不同阶段的面部边界的精细度。

​

（3）实现效果：该网络不仅能估计出准确的面部表情，而且能有效地提高重建图像的保真度。该方法在定量和定性结果方面都取得了最先进的效果。

3、网络结构

  MSFSR模型的流水线如图所示。该网络包括三个独立的模块：基本预处理模块(BPM)、边界估计模块(BEM)和边界融合模块(BFM)。

​

图1 建立的MSFSR模型。“BPM”负责放大LR输入的空间分辨率。“BEM”从先前的输出中提取增强的面部边界，而“BFM”将来自“BPM”的输出与BEM增强的面部边界组合在一起，以生成超分辨率图像。绿线表示不同阶段之间的快捷连接。橙色箭头表示加强了对面部边界的监督

此外，我们引入剩余通道注意块如图2

​

图2 RCAB的设计。要素地图通道上的权重由卷积图层计算。它们会自动调整权重

①基本预处理模块(BPM)。BPM的结构如图3所示，其作用是提高LR输入的空间分辨率。在BPM设计中，我们使用RCAB优化ESPCN。最后的像素混洗层可以轻松地对设计进行一些更改，以应对不同的因素。此外，BPM使我们的网络能够在端到端的培训和测试中取得成功。
②边界估计模块（BEM）。我们使用堆叠的沙漏结构H直接从第一模块IBPM的输出中预测预定义的K面部边界。预测的K面部边界以热图βi的堆栈形式呈现。
③边界融合模块（BFM）。最后，BFM采用其两分支设计引入了βi和IBPM，并根据这些线索使人脸图像产生超分结果。

图3 （Basic Pre-process Module）BPM通过后期升级设计摆脱了预定义的升级操作，从而提高了网络的效率

       （Boundary Estimation Module）BEM估计器在统一框架中直接从面部图像增强了面部边界

       （Boundary Fusion Module） BFM则将通道关注的重点放在融合面部边界和特征图上

在本文中还设计了从粗到细的监督，以限制在不同分辨率范围内增强的面部边界的精细度。

图4 由于多阶段FSR网络设计，面部图像的空间分辨率逐步提高。在早期阶段，沙漏的下采样过程将图像尺寸减小到极低的分辨率，从而导致难以估计出精确增强的面部边界。该图演示了从粗到细监管的示例。

4、实验结果

不同的SR方法在8倍放大倍数上的视觉结果。 （a）Ground Truth（b）双三次（c）EDSR（d）URDGN（e）PFSR（f）FSRNet（g）Ours（h）OursGAN。

使用CelebA-HQ，Helen和WFLW数据集以8倍SR对最先进的面部SR方法进行定性和定量比较。