17.4.20 漫画与人脸识别（三）Matching caricatures to photographs 小感

最近读了《Matching caricatures to photographs》。

一、引言
人脸的肖像画可以单单靠几条线、几个点让人辨认出他是谁，即一张人脸的肖像画是一种informative的图片。对于给定的漫画，如何匹配到与之对应的照片是一种比较具有挑战性的人脸匹配问题。大部分的人可以通过一张漫画找到对应的照片，但是对于计算机而言，并没有这种能力。主要是因为，漫画中的人的特征常常会被夸张化，导致该特征特别明显，但是并不实际存在。一个好的漫画能够凸显出一个人的人脸的主要特征，排除次要的特征。
由于在漫画人脸识别领域的研究并不是很多，目前常见的方法有两种：一、定义一些不变的特。二、在不同的模式之间建立一个通用子空间。主要是人脸草图、人脸图片、2D/3D图片、红外人脸图片、高或者低分辨率图像。例如PCA，Bayesian face，Fisherface，appearance-based face recognition，还有利用文字描述的方法，还有利用SIFT，multi-scale LBP将草图进行编码到一个子空间。比较新的一些研究方法是 match caricature with photographs，可以利用人脸的68个特征（包括了性别，头发，眼睛形状等）。本文提出了的match 框架主要是利用人脸的性别、头发、鼻子形状，鼻子体积，眼镜等特征来提取自行从照片中提取人脸，并且为漫画人工标注label。同样的本文提出了一格数据库，其中包括200个照片和200个漫画，并且带有32个标注信息。本文利用Genetic Algorithm（GA）算法来衡量每个特征的权重关系，然后利用逻辑回归来判断GA算法得到的权重的好坏。

二、数据库以及特征的选取
首先，本文提出的漫画人脸数据库包含了200个人脸照片以及200个漫画，并且每一张人脸图片都有一张与之相似度较高的漫画。数据库中的人脸图像全部裁剪成480*640，为了能够得到更好的视觉效果，所有的漫画都经过了增强对比、去除背景噪音的操作。

（数据库中一些手画的黑白的漫画和实际的人脸照片）
接下来作者主要对32个特征进行筛选，每个特征都是大多数漫画家进行投票的结果。

三、自动人脸特征提取
在这一部分中，作者利用Pattern recognition algorithm的方法来自动提取32个特征中的23个。

接下来作者对几个比较重要的特征信息的提取方法分别进行了阐述，这些特征分别是性别、胡须、头发、眼镜、脸型、眉毛位置、嘴的宽度、眼睛形状、眉毛形状、鼻眼间距离、嘴唇厚度。

本文花了大篇幅的内容讲述了上面几个比较重要的特征。接着就是利用遗传算法Genetic Algorithm计算权重，然后利用逻辑回归来衡量权重好坏。
最终算到权重如下：

本文的实验结果如下：

从图中可以看出效果确实好了很多。