sklearn机器学习之PCA降维案例二（手写数字图片降维）

1.导入相应包

from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

2.准备数据集

data = pd.read_csv(r"D:\download\sklearnjqxx_jb51\【机器学习】菜菜的sklearn课堂(1-12全课)\04主成分分析PCA与奇异值分解SVD\digit recognizor.csv")
X = data.iloc[:, 1:]
y = data.iloc[:, 0]
X.shape

这里返回的是(42000, 784)即42000张照片，每张图片由784个像素点构成

3.查看信息矩阵保留曲线图

pca_line = PCA().fit(X)
plt.plot(np.cumsum(pca_line.explained_variance_ratio_))
plt.xlabel("number of components after dimension reduction")
plt.ylabel("cumulative explained variance ratio")
plt.savefig(r"C:\Users\86377\Desktop\1.png")

绘制图像如下：

这里我们可以看到大概在0-100之内，我们进行下一步细化搜索。

4.通过模型确定搜索范围

score = []
for i in range(1, 101, 10):
    X_dr = PCA(i).fit_transform(X)
    one_score = cross_val_score(RFC(n_estimators=10, random_state=0), X_dr, y, cv=5).mean()
    score.append(one_score)
plt.plot(range(1, 101, 10), score)
plt.savefig(r"C:\Users\86377\Desktop\2.png")
plt.show()

绘制精确率图像如下：

从图中我们可以看到大致在10-25之间会取得峰值。

5.进一步细化搜索范围

score = []
for i in range(10, 25):
    X_dr = PCA(i).fit_transform(X)
    one_score = cross_val_score(RFC(n_estimators=10, random_state=0), X_dr, y, cv=5).mean()
    score.append(one_score)
plt.plot(range(10, 25), score)
plt.savefig(r"C:\Users\86377\Desktop\3.png")
plt.show()

绘制图像如下：

这里我们选取21为PCA超参数。

6.查看此时正确率

X_dr = PCA(21).fit_transform(X)
cross_val_score(RFC(n_estimators=100, random_state=0), X_dr, y, cv=5).mean()

最终得到的精确率为：0.9433095238095237