一、数据来源
Sklearn自带数据集fetch_lfw_people
二、模型选择
降维使用Sklearn的decomposition模块下的PCA
三、分析过程
1)导入相关库
from sklearn.datasets import fetch_lfw_people
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
import numpy as np
数据集用到的是fetch_lfw_people
降维算法选择PCA
2)查看数据集概况
faces=fetch_lfw_people(min_faces_per_person=60)
faces.data.shape
faces.images.shape
x=faces.data
fetch_lfw_people人脸识别数据集是由7个人不同时间、不同角度、不同表情等图像组成的数据集;
faces=fetch_lfw_people(min_faces_per_person=60)中,min_faces_per_person=60的意思是每个人至少选取60张图像;
faces.data.shape结果为(1348, 2914),表示有1349张图像,数据特征有2914个;
faces.images.shape结果为(1348, 62, 47),表示有1349张图像,每张图像大小为62x47,而62x47正好为2914;
最后将faces.data数据存为x。
3)降维处理
pca=PCA(150).fit(x)
x_dr=pca.transform(x)
x_dr.shape
由于人脸识别数据集有2914个特征,过于庞大,在这里我们使用PCA进行降维,设置降维后维度为150
观察降维后数据结构为(1348, 150),即数据集从(1348, 2914)降到了(1348, 150)。
4)可视化
目的:通过可视化观察降维前后图片的变化,以发现PCA降维对数据集的影响。
降维前:
fig,axes=plt.subplots(4,8,figsize=[10,5],subplot_kw={"xticks":[],"yticks":[]})
for i,ax in enumerate(axes.flat):
ax.imshow(faces.data[i,:].reshape(62,47),cmap='gray')
结果:
降维后:
x_inverse=pca.inverse_transform(x_dr)
fig,axes=plt.subplots(4,8,figsize=[10,5],subplot_kw={"xticks":[],"yticks":[]})
for i,ax in enumerate(axes.flat):
ax.imshow(x_inverse[i,:].reshape(62,47),cmap='gray')
结果:
可以明显看出,这两组数据可视化后,由降维后再通过inverse_transform转换回原维度的数据画出的图像和原数据画的图像大致相似,但原数据的图像明显更加清晰。这说明,inverse_transform并没有实现数据的完全逆转。这是因为,在降维的时候,部分信息已经被舍弃了,x_dr中往往不会包含原数据100%的信息,所以在逆转的时候,即便维度升高,原数据中已经被舍弃的信息也不可能再回来了。所以,降维不是完全可逆的。
Inverse_transform的功能,是基于X_dr中的数据进行升维,将数据重新映射到原数据所在的特征空间中,而并非恢复所有原有的数据。但同时,我们也可以看出,降维到300以后的数据,的确保留了原数据的大部分信息,所以图像看起来,才会和原数据高度相似,只是稍微模糊。
5)总结
综上所述,PCA降维算法成功将人脸识别数据集从特征数2914降维到150,大大减少了特征数,加快了计算速度;从图像对比来看,保留了大部分重要特征,仍能够分辨得出人脸。因此,PCA降维算法相比特征选择可以说是十分强大。
·································································································································································
完整代码:
from sklearn.datasets import fetch_lfw_people #导入人脸识别数据集库
from sklearn.decomposition import PCA #导入降维算法PCA模块
import matplotlib.pyplot as plt
import numpy as np
faces=fetch_lfw_people(min_faces_per_person=60) #实例化
faces.data.shape #查看数据结构
faces.images.shape
x=faces.data
pca=PCA(150).fit(x) #实例化 拟合
x_dr=pca.transform(x) #训练转换
x_dr.shape
fig,axes=plt.subplots(4,8,figsize=[10,5],subplot_kw={"xticks":[],"yticks":[]}) #绘制子图4行8列 设置坐标轴为空
for i,ax in enumerate(axes.flat): #展平为一维准备绘制图像进子图
ax.imshow(faces.data[i,:].reshape(62,47),cmap='gray') #绘制子图,设置颜色模式为灰色
x_inverse=pca.inverse_transform(x_dr) #逆转还原新特征矩阵
fig,axes=plt.subplots(4,8,figsize=[10,5],subplot_kw={"xticks":[],"yticks":[]}) #绘制子图4行8列 设置坐标轴为空
for i,ax in enumerate(axes.flat): #展平为一维准备绘制图像进子图
ax.imshow(x_inverse[i,:].reshape(62,47),cmap='gray') #绘制子图,设置颜色模式为灰色