机器学习学习笔记（七）PCA

概念

主成分分析PrincipalComponentAnalysis

(1)一个非监督的机器学习算法

(2)主要用于数据的降维

(3)通过降维，可以发现更便于人类理解的特征

(4)其他应用：可视化；去燥

如何找到这个让样本间间距最大的轴？

如何定义样本间间距？

使用方差（Variance）：

一个目标函数的最优化问题：使用梯度上升法解决

(1)demean

def demean(X):

    returnX-np.mean(X,axis=0)

(2)梯度上升

def f(w,X): 

    returnnp.sum((X.dot(w))**2)/len(X)

实现

##主成分分析： ##样本数据集-》降维class PCA:

scikit-learn中的PCA

导包：from sklearn.decomposition import PCA

实例：pca=PCA(n_components=1)

pca.fit(X)

降维：X_reduction=pca.transform(X)

升维：x_restore=pca.inverse_transform(X_reduction)

具体判断降低到几维？

pca.explained_variance_ratio_

 

pca=PCA(0.95)##95%

pca.fit(X_train)

MINIST数据集

导包：from sklearn.datasets import fetch_mldata

下载：mnist=fetch_mldata("MNISToriginal")

降噪

原始数据图片：

降噪过程：

pca=PCA(0.5)

pca.fit(noisy_digits)

components=pca.transform(example_digits)

filter_digits=pca.inverse_transform(components)

绘制：plot_digits(filter_digits)

降噪后：

人脸识别的应用-特征脸

导包：from sklearn.datasets import fetch_lfw_people

下载：faces=fetch_lfw_people()

显示：

def plot_faces(faces):

   fig,axes=plt.subplots(6,6,figsize=(10,10),subplot_kw={'xticks':[],'yticks':[]},

                        gridspec_kw=dict(hspace=0.1,wspace=0.1))

    for i,ax inenumerate(axes.flat):

       ax.imshow(faces[i].reshape(62,47),cmap='bone')

    plt.show()

PCA：

from sklearn.decomposition import PCA

pca=PCA(svd_solver='randomized')

pca.fit(X)

plot_faces(pca.components_[:36,:])

结果：