paper10：FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors 2018CVPR

利用人脸先验实现端到端的人脸超分辨率
introduction：


之前的面部超分辨率方法大多是由通用的图像超分辨率算法加以适当修改得到的，大多数没有加人脸先验知识，所以导致恢复效果不好。并且用于人脸超分辨率的图像不是端到端的训练。
motivation：Facial Geometry Priors and End-to-End Training.
contribution：

• 第一个提出用人脸几何先验的知识进行端到端学习的人脸超分辨率方法。
• 同时引入了两种几何先验，face landmark 和面部解析
• 提出的FSRnet在模糊未对齐和非常低的分辨率的图像，通过8倍放大，是目前最好的水平。同时用FSRnetGAN网络可以进一步生成更加逼真的images。
• 对于人脸超分辨率，人脸对齐和面部解析 最为新的评价标准。进一步证明，该方法可以解决传统的视觉感知度量方法的不一致性。
  选择形状作为先验的两种考虑：首先，当分辨率从高到低时，形状比纹理保存得更好，因此更有可能被提取出来以提高超分辨率。形状的表示要比纹理的表示好一些 。人脸解析 是不同人脸组成的分割估计。
  
  network structure
  
  先将模糊的images输入coarse SR 网络里恢复一个coarse 的HR image
  motivation：直接从输入的LR图像中估计人脸landmark 和面部解析是很困难的 ，使用粗SR网络可以帮助缓解先验估计的困难。
  
  
  
  这个精细的SR 编码块，用来提取特征
  
  估计先验知识
  
  完成图像重构
  损失函数：
  1.
  从coarse的SR 网络中恢复一个coarse SRimages
  2.
  将coarse SRimages送入特征提取 和先验估计网络中
  3.
  将f,p送入解码器网络去恢复SR images
  FSRnet loss function：
  
  x:低分辨率图像
  y~:低分辨率图像对应的真实的高分辨率图像
  p~：真实的图像对应的真实的先验信息
  监督：真实的高分辨率图像-coarse的 SR images 、真实的高分辨率images-恢复的高分辨率images、真实的先验信息-从coarse中恢复出的image的先验信息。
  FSRnetGAN:
  监督：GAN LOSS
  感知损失
  用一个固定的预训练模型VGG来得到高层特征，恢复的高分辨率图像-真实的高分辨率图像 在high-level 的特征损失
  discussion：
• Effectiveness of Priors
  
  把先验信息估计网络移除以后，构建了一个 Baseline 网络。基于 Baseline 网络，引入 ground truth 人脸先验信息（landmark heatmap 和解析图）到拼接层，得到一个新的网络。
  结论：
  1.解析图比 landmark heatmap 含有更多人脸图像超分辨的信息，带来的提升更大；

2. 全局的解析图比局部的解析图更有用；
3. landmark 数量增加所带来的提升很小
   estimated prior：
   
   结论：
   1.即使不进行监督训练，先验信息也能帮助到 SR 任务，可能是因为先验信息提供了更多的高频信息；
4. 越多先验信息越好；
5. 最佳性能为 25.85dB，但是使用 ground truth 信息时，能达到 26.55dB。说明估计得到的先验信息并不完美，更好的先验信息估计网络可能会得到更好的结果。

总结：FSRnet的关键在于 利用面部信息估计作为先验，准确的恢复高分辨率的人脸图像。每一个环节都有可以继续研究的点，如何利用更好的先验，如何用轻量级网络，等等。