处理筛选CelebA人脸数据集

引

CalebA人脸数据集（官网链接）是香港中文大学的开放数据，包含10,177个名人身份的202,599张人脸图片，并且都做好了特征标记，这对人脸相关的训练是非常好用的数据集。

别看只是一堆人脸，他们很贴心地做好了特征标记，也就是说，你可以找到类似下面这些标签：

更贴心的是，他们除了Google盘的下载方式，还为国内研究人员提供了百度网盘的下载链接，这在他们官方都可以找到。

不过刚进入百度网盘的文件，可能有点迷，不知道什么文件是干嘛的，也不知道怎么处理，尤其是对于新手来说，这里就总结一下。

文件含义

进入百度网盘可以看到多个文件，但是都是干什么的呢？应该下载哪个来用呢？

在动手下载之前，最好先读读README文件，里面有比较详细的描述，这里只简单介绍一下：

• Img文件夹下是所有图片，图片又分三类文件：

其中“img_celeba.7z”文件夹是纯“野生”文件，也就是从网络爬取的没有做裁剪的图片，要解压的话需要整个文件夹一起解压；“img_align_celeba_png.7z”和“img_align_celeba.zip”是把“野生”文件裁剪出人脸部分之后的图片，其中“img_align_celeba_png.7z”是png格式的，比较大，也要整个文件夹一起解压，“img_align_celeba.zip”是jpg格式的，比较小，1G多，我采用的是这个文件，直接解压即可。

不过需要注意的是里面的图片并不是正方形的，所以如果你的网络需要方形图片输入，自己还得处理一遍，后文有这部分的代码。

图中可以看到，人脸图片的名字只是简单的编号，那肤色、发色、眼镜、性别等特征标签在哪呢，在之前的“Anno”文件夹中：

第一个“list_attr_celeba.txt”文本文件就记录了每一张图片的特征标签：

如图所示，第一行表示图片个数，第二行是特征类型，以空格分开，可以看到有超多特征，想想记录过程也真是个漫长的工作。下面的行就是每张图片的标记了，第一列是图片名，后面的每个数字对应每一个特征，1表示正例，-1表示反例。

这样我们就有了图片和特征描述了，那怎么筛选出我们要的人脸图片呢？

处理标签

假设我们要把所有人脸分成戴了眼镜的和没戴眼镜的两份集合，来训练从戴眼镜到不戴眼镜的转换。一个个地人眼去看去分类显然是不现实的，描述文件的意义就在于此。

我们可以写一份Python代码来遍历txt中每一张图片对应的“Eyeglasses”属性列，看是不是1，从而判断对应图片是否戴了眼镜。

数一数可以知道“Eyeglasses”是第16个属性，这样，我们可以读取这份属性描述txt，遍历每一行，看对应列是否是1，从而将图片名筛分到两个txt中去：

f = open("list_attr_celeba.txt")
newTxt = "glass.txt"
newf = open(newTxt, "a+")
newNoTxt = "noGlass.txt"
newNof = open(newNoTxt, "a+")

line = f.readline() 
line = f.readline() 
line = f.readline() 
while line:
    array = line.split()
    if (array[0] == "000154.jpg"): print(array[16])

    if (array[16] == "-1"): 
        new_context = array[0] + '\n'
        newNof.write(new_context)
    else: 
        new_context = array[0] + '\n'
        newf.write(new_context)
    line = f.readline()

lines = len(newf.readlines()) 
print ("There are %d lines in %s" % (lines, newTxt)) 
lines = len(newNof.readlines()) 
print ("There are %d lines in %s" % (lines, newNoTxt))

f.close()
newf.close()
newNof.close()

如上代码，我们读取”list_attr_celeba.txt”，并且创建两个新txt来分别存储有无戴眼镜的图片名。然后遍历每一行（跳过头两行），去判断眼镜属性是否是1，这里每一列用line.split()分隔开成数组，注意不能用line.split(” “)，因为数字之间有时候是一个空格，有时候是两个空格，被坑了一下= =

当然你也可以像我一样先自己去图片集合中找一个戴了眼镜的图片，看看我们的代码是不是把对应的图片名下的1识别出来，我这里找的就是000154.jpg这张图来验证。

最后，我统计了一下有无戴眼镜的人脸的数量，结果是：

筛选图片

得到两个记录了有无戴眼镜的图片名集合txt后，我们就可以根据这个来筛选图片了。

图片共二十多万张，我们如果采用针对一个txt中每个图片名都去从头到尾到文件夹里找一次的方案，处理起来就太慢了。

这里我们采取更快速的方法，遍历文件夹中所有图片，对于遇到的每个图片名（当然，因为文件夹中不止图片，所以先判断是否是图片，也就是后缀是否是.jpg），去记录有无戴眼镜的两个txt中分别找是否包含该图片名，哪个包含，则把该图片移动到对应文件夹下去。

这里还可以优化的是，在txt中找图片名时，也不能每次要找都从头到尾找，而要记录上次找到的位置，因为图片名时按顺序排好的，所以下一张要找的图片名一定会在下面的行，而不会在之前出现过的行，这样也可以提速。

由于两个txt中行数不一致（有无戴眼镜的图片数量不同），所以要判断当一个txt全部找完后，之后就不要再去该txt中找了，更不要继续往后移动行，这样会出错的。

整体优化完成后代码如下：

import os
import shutil

nof = open("noGlass.txt")
hasf = open("glass.txt")

noLine = nof.readline() 
hasLine = hasf.readline() 

list = os.listdir("./")
hasGo = True
noGo = True
for i in range(0, len(list)):
    imgName = os.path.basename(list[i])
    if (os.path.splitext(imgName)[1] != ".jpg"): continue

    noArray = noLine.split()
    if (len(noArray) < 1): noGo = False
    hasArray = hasLine.split()
    if (len(hasArray) < 1): hasGo = False

    if (noGo and (imgName == noArray[0])):
        oldname= "./"+imgName
        newname="./noGlass/"+imgName
        shutil.move(oldname, newname)
        noLine = nof.readline()
    elif (hasGo and (imgName == hasArray[0])):
        oldname= "./"+imgName
        newname="./hasGlass/"+imgName
        shutil.move(oldname, newname)
        hasLine = hasf.readline()

    if (i % 100 == 0): print(imgName)

nof.close()
hasf.close()

“no”开头的对应未戴眼镜相关变量，“has”开头的对应戴了眼镜相关变量。思路就是上面说的几个优化的地方了。

这样一套处理二十多万张图片的筛选移动，总共花了不到一分钟。之前未优化时，处理了两个小时还只处理了一万多张，而且是越处理越慢，显而易见，每次都要从头找的话，越到后面，不必要的从头遍历条目越多。

方形脸部截取

虽然CelebA帮我们把人脸部分裁剪出来了，但由于我要处理的网络需要方形图片，也就是宽高相等的图片，所以这里再处理一遍：

from PIL import Image
import face_recognition
import os

# for (int i = 1; i <= 10; i++)
list = os.listdir("./")
for i in range(0, len(list)):
    imgName = os.path.basename(list[i])
    if (os.path.splitext(imgName)[1] != ".jpg"): continue

    image = face_recognition.load_image_file(imgName)

    face_locations = face_recognition.face_locations(image)

    for face_location in face_locations:

        # Print the location of each face in this image
        top, right, bottom, left = face_location
        # print("A face is located at pixel location Top: {}, Left: {}, Bottom: {}, Right: {}".format(top, left, bottom, right))

        # You can access the actual face itself like this:
        width = right - left
        height = bottom - top
        if (width > height):
            right -= (width - height)
        elif (height > width):
            bottom -= (height - width) 
        face_image = image[top:bottom, left:right]
        pil_image = Image.fromarray(face_image)
        pil_image.save('face%s'%imgName)

这份代码就是遍历文件夹中的所有图片，用face_recognition库去识别出人脸位置的上下左右坐标，基本识别得出的坐标就已经是方形的了，特殊情况下会有一个像素的误差，所以我强制对比了一次宽高，不一样就改成一样的，对裁剪的影响也不会很大。需注意的是要运行这份代码需要安装face_recognition库和PIL库，如何安装就可以直接搜索教程了。

这里我们就得到了所有高宽相等的人脸二次裁剪图片。

还要注意的一点是这里只保证了每张图片自身高宽相等，图片之间的尺寸并不一定是同样大小的。

结

这样，就完成了针对一个维度去做二位类处理筛选数据集的工作。

---

版权所有：http://blog.csdn.net/cloudox_