论文笔记： FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors

Yu Chen1,5∗ Ying Tai2∗ Xiaoming Liu3 Chunhua Shen4 Jian Yang1 1Nanjing University of Science and Technology 2Youtu Lab, Tencent 3Michigan State University 4University of Adela

具体而言，我们首先构造粗SR网络来恢复粗高分辨率（HR）图像。

a fine SR encoder：extracts the image features（精细SR编码器：提取图像特征）

a prior information estimation network ：estimates landmark heatmaps/parsing maps respectively.（先验信息估计网络：估计landmark/解析图）

然后两个分支的结果都发给a fine SR decoder。

此外，我们引入两个相关的任务，即人脸对齐和解析，作为新的人脸SR的评价指标，解决了经典视觉感知指标之间的不一致性。

 

 

Fine SR Encoder  conv3x3,slide2->64x64->res->res..

Fine SR Decoder   concat(p,f)  deconvolutional4x4->128x128->res->res->res

4。人脸超分辨的先验知识

 

在这一节中，我们想回答两个问题：（1）面部先验知识真的对面部超分辨率有用吗？（2）面部先验知识带来的差异有多大？为了回答这些问题，我们对2, 330图像海伦数据集进行了若干测试[21 ]。最后50个图像用于测试，其他图像用于训练。我们对训练图像进行数据增强。具体来说，我们将原始图像旋转90，180，270，并水平翻转。这导致7个额外的增强图像为每个原始图像。此外，海伦数据集中的每个图像都有194个地标和11个解析图的地面实况标记。

 

人脸先验知识的影响首先，我们证明了即使没有任何高级处理步骤，人脸先验知识对于人脸超分辨率也是重要的。

训练参数

初始学习率为2.5×10～4，minibatch=14, 初级放大为bicubic

CalySETα＝1，β＝1。在海伦数据集上训练一个基本的FSRNET在1泰坦X GPU上花费6个小时。

 

 

 

 

 

estimated prior 都是用的别人公开的代码，想要知道黄脸绿鼻子的图是怎么来的，估计要看下面这些：

[19] M. Kowalski, J. Naruniec, and T. Trzcinski. Deep align- ment network: A convolutional neural network for robust face alignment. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn.,Faces-in-the-wild Workshop/Challenge, 2017. 8

[39]   X. Xiong and F. De la Torre. Supervised descent method and its applications to face alignment. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2013. 8

[44]   J.Zhang,S.Shan,M.Kan,andX.Chen.Coarse-to-fineauto- encoder networks (CFAN) for real-time face alignment. In Proc. Eur. Conf. Comp. Vis., 2014. 7, 8

[45]   S. Zhu, C. Li, C. Change Loy, and X. Tang. Face align- ment by coarse-to-fine shape searching. In Proc. IEEE Conf. Comp. Vis. Patt. Recogn., 2015. 8