Ultra-Resolving Face Images by Discriminative Generative Networks人脸超分辨率生成

Ultra-Resolving Face Images by Discriminative Generative Networks

论文地址：https://pdfs.semanticscholar.org/d6f1/42f5ddcb027e7b346eb20703abbf5cc4e883.pdf

本文无公开代码（没有找到），仅供参考其思想

摘要：

常规的人脸超分辨率方法，也称为人脸幻想，face hallucination，通过给定的低分辨率，尺度变换在2-4之间，像素放大倍数4-16。当输入的信息很少时候，这些方法是脆弱的fragile。为了解决这些缺点，To address these shortcomings,本文提出判别生成网络，该网络可以超解析16*16像素的分辨率很低的人脸图像放大8倍，单个像素放大64倍。我们在生成模型的基础上引入（introduce）像素级L2正则项，在判别器中 利用判别器网络的反馈是上采样人脸图像更接近真实人脸。在框架中，判别网络学习人脸的基本组成部分，生成网络将这些部分以最精确的方式混合到输入图像中。其中不考虑位姿和面部表情的变化。

超分辨率效果取决于输入图像大小，当图像很小的时候，效果常常不佳。

在HR图像中由于姿态、光照和表情变化时，

实验：

CelebA人脸数据集，采用16000张图片，HR图片是128*128,1500train，500验证集，500测试集

输入LR16*16大小图片。其中是眼部对齐，怎么对齐的没有很理解。

主要结构是生成对抗网络

损失函数：

判别器损失：

生成器损失：使用了L2损失+对抗损失

网络结构：

 

该网络结构生成器中没有采用全连接，论文中指出LR人脸图像是高度结构化，归一化后可以看成特征映射，将人脸输入全连接可能破坏结构。本文使用的是反卷积结构，4层反卷积，放大8倍。

 

参数设置：

本文在学习率上是每轮lr=lr*0.99

优化算法采用的是RMSprop

 

主要贡献：

面向人脸的超分辨率生成，由于年限较久远，生成效果并不太好，且没有开源代码，其中的眼部对齐也没有说明（也是没有理解的地方）。当初看这篇文章完全是被8倍放大率吸引。

在网络上指出不用全连接的好处，这是一个亮点（虽然大部分网络生成器中都没有全连接层，但值得注意）

另一亮点16*16 LR的输入

损失函数不新颖，只采用了L2损失，虽然有可能很有用。但是没有创新点

本论文值得借鉴的是关于2014年以前，非基于深度学习的研究内容，由于本人了解的不多，也不知道是否具有代表性。