17.4.20 漫画与人脸识别(三)Matching caricatures to photographs 小感

最近读了《Matching caricatures to photographs》。

一、引言
人脸的肖像画可以单单靠几条线、几个点让人辨认出他是谁,即一张人脸的肖像画是一种informative的图片。对于给定的漫画,如何匹配到与之对应的照片是一种比较具有挑战性的人脸匹配问题。大部分的人可以通过一张漫画找到对应的照片,但是对于计算机而言,并没有这种能力。主要是因为,漫画中的人的特征常常会被夸张化,导致该特征特别明显,但是并不实际存在。一个好的漫画能够凸显出一个人的人脸的主要特征,排除次要的特征。
由于在漫画人脸识别领域的研究并不是很多,目前常见的方法有两种:一、定义一些不变的特。二、在不同的模式之间建立一个通用子空间。主要是人脸草图、人脸图片、2D/3D图片、红外人脸图片、高或者低分辨率图像。例如PCA,Bayesian face,Fisherface,appearance-based face recognition,还有利用文字描述的方法,还有利用SIFT,multi-scale LBP将草图进行编码到一个子空间。比较新的一些研究方法是 match caricature with photographs,可以利用人脸的68个特征(包括了性别,头发,眼睛形状等)。本文提出了的match 框架主要是利用人脸的性别、头发、鼻子形状,鼻子体积,眼镜等特征来提取自行从照片中提取人脸,并且为漫画人工标注label。同样的本文提出了一格数据库,其中包括200个照片和200个漫画,并且带有32个标注信息。本文利用Genetic Algorithm(GA)算法来衡量每个特征的权重关系,然后利用逻辑回归来判断GA算法得到的权重的好坏。

二、数据库以及特征的选取
首先,本文提出的漫画人脸数据库包含了200个人脸照片以及200个漫画,并且每一张人脸图片都有一张与之相似度较高的漫画。数据库中的人脸图像全部裁剪成480*640,为了能够得到更好的视觉效果,所有的漫画都经过了增强对比、去除背景噪音的操作。
17.4.20 漫画与人脸识别(三)Matching caricatures to photographs 小感_第1张图片
(数据库中一些手画的黑白的漫画和实际的人脸照片)
接下来作者主要对32个特征进行筛选,每个特征都是大多数漫画家进行投票的结果。

三、自动人脸特征提取
在这一部分中,作者利用Pattern recognition algorithm的方法来自动提取32个特征中的23个。
17.4.20 漫画与人脸识别(三)Matching caricatures to photographs 小感_第2张图片
接下来作者对几个比较重要的特征信息的提取方法分别进行了阐述,这些特征分别是性别、胡须、头发、眼镜、脸型、眉毛位置、嘴的宽度、眼睛形状、眉毛形状、鼻眼间距离、嘴唇厚度。
17.4.20 漫画与人脸识别(三)Matching caricatures to photographs 小感_第3张图片
本文花了大篇幅的内容讲述了上面几个比较重要的特征。接着就是利用遗传算法Genetic Algorithm计算权重,然后利用逻辑回归来衡量权重好坏。
最终算到权重如下:
17.4.20 漫画与人脸识别(三)Matching caricatures to photographs 小感_第4张图片
本文的实验结果如下:
17.4.20 漫画与人脸识别(三)Matching caricatures to photographs 小感_第5张图片
从图中可以看出效果确实好了很多。

你可能感兴趣的:(人脸识别,人脸识别)