机器学习作业——主成分分析PCA

--------------PCA简单使用-------------

一：回顾PCA

（一）主成分分析法是干什么用的？

  数据降维，话句话说就是将数据地特征数量变少，但又不是简单地删除特征。

  数据降维地目的可以是压缩数据，减少数据的存储空间，让算法提速；

  也可以是将数据降到二维或者三维进行可视化

（二）主成分分析法怎么做到的降维？

  上面说到主成分分析法用于数据降维，大概理解一下它怎么做的。现在我们数据维度为n，我想通过降维让数据变成k维。

  那么PCA做的就是对于n维空间的数据，寻找一个K维的“面”，让这些数据到这个“面”的距离最短，这个距离又叫做投影误差。
  找到这个“面”后，将n维空间的点投影到这个“面”，因此所有点都投影到了k维空间，因此可以特征数量变为了k。
  假设n=2,k=1，那么就是将二维平面上的点投影到一个向量上；假设n=3,k=2，那么就是将三维空间的点投影到一个平面上。

（三）主成分分析法具体怎么做呢？——降维

  对于数据要从n维降到k维
  首先对数据进行feature scaling/mean normalization，也就是归一化。
  其次计算协方差矩阵：（列 X 行，得协方差矩阵）

  接着计算sigma矩阵（协方差矩阵）的“特征向量”，这里使用奇异值分解(single value decomposition)。SVD奇异值分解得到特征向量和特征值。

  取U矩阵（特征向量矩阵）中前k个向量得到一个n乘k维的矩阵$U_{reduce}$，其中训练集$X$是一个(m,n)矩阵，样本数为m，特征为n维，使用$X{U}_{reduce}$就可得到降维后的数据。

（四）主成分分析法具体怎么做呢？——重建数据

  重建数据得到数据的近似值，因为U是特征向量矩阵，它由标准正交基组成，因此U.T@U为单位矩阵，所以这里要重建数据只需

  然后再可视化投影，画出标准化的数据以及投影之后又重建的数据，把对应点用虚线连接起来，看看降维后的数据保留了原始数据多少的差异性 。

二：数据集导入及可视化

import numpy as np
import matplotlib.pyplot as plt
import scipy.io as sio

data = sio.loadmat("ex7data1.mat")
X = data['X']

plt.figure()
plt.scatter(X[:,0],X[:,1],marker="X",c="b")
plt.show()

三：数据预处理

  实现PCA首先要做的就是对数据的处理进行归一化，注意这里的方差的计算，默认ddof为0，通常情况下是使用ddof=1，就是方差计算中最后除以m还是m-1的不同。ddof=0求解总体标准差（除以m），ddof=1求解样本标准差（除以m-1）。

def data_preprocess(X):
    #数据预处理
    return (X-np.mean(X,axis=0))/np.std(X,axis=0,ddof=1) #对特征进行均值求解（按列）

data = sio.loadmat("ex7data1.mat")
X = data['X']

X = data_preprocess(X)
print(X)

四：奇异值分解

  其次计算协方差矩阵：

  接着计算sigma矩阵的“特征向量”，这里使用奇异值分解(single value decomposition)。SVD奇异值分解得到特征向量和特征值

def PCA(X):
    sigma = X.T.dot(X)/len(X)
    U,S,V = np.linalg.svd(sigma)
    return U,S,V

X = data_preprocess(X)
U,S,V = PCA(X)
print(U)
print(S)
print(V)

五：使用PCA进行降维

  取U矩阵（特征向量矩阵）中前k个向量得到一个n乘k维的矩阵$U_{reduce}$，其中训练集x是一个(m,n)矩阵，样本数为m,特征为n维，使用$X{U}_{reduce}$就可得到降维后的数据。

def PCA_process(X,U,K): #进行降维操作 传入的K是我们目标维度
    return X.dot(U[:, :K])

data = sio.loadmat("ex7data1.mat")
X = data['X']

X = data_preprocess(X)
U,S,V = PCA(X)

K = 1
Z = PCA_process(X,U,K)
print(Z)
print(Z.shape)

六：数据升维

  操作重建数据得到数据的近似值，因为U是特征向量矩阵，它由标准正交基组成，因此U.T@U为单位矩阵，所以这里要重建数据只需
其中z是(m,k)维度，$U_{reduce}^T$是（k,n）矩阵，所以相乘后得到（m,n)维矩阵，达到升维目的。

def reconstruct_data(Z, U, K):  #进行升维操作
    return Z.dot(U[:,:K].T)

data = sio.loadmat("ex7data1.mat")
X = data['X']

X = data_preprocess(X)
U,S,V = PCA(X)

K = 1
Z = PCA_process(X,U,K)

X_approx = reconstruct_data(Z,U,K)
print(X_approx)

注意：升维后的数据就是在二维空间中的一条直线（降维数据在二维空间的显示）

plt.figure()
plt.scatter(X_approx[:,0],X_approx[:,1],marker="X",c="r") #虽然降维到1维，但是我们要画在二维空间中，所以我们需要使用X_approx绘制图像
plt.show()

七：绘制PCA可视化图像

data = sio.loadmat("ex7data1.mat")
X = data['X']
X = data_preprocess(X)
K = 1

U,S,V = PCA(X)
Z = PCA_process(X,U,K)
X_approx = reconstruct_data(Z,U,K)

plt.figure()
plt.scatter(X[:,0],X[:,1],marker="X",c="b") #绘制原图像
plt.scatter(X_approx[:,0],X_approx[:,1],marker="X",c="r") #虽然降维到1维，但是我们要画在二维空间中，所以我们需要使用X_approx绘制图像
#绘制降维路线
for i in range(len(X)):
    plt.plot([X[i][0],X_approx[i][0]],[X[i][1],X_approx[i][1]],'k--')

plt.show()

-------------人脸像素降维之PCA使用-------------

  将PCA应用到人类数据集上，当前的每张人脸图片为1024像素，因此为1024维。我们的目标是将数据降维到36像素，也就是36维。

import numpy as np
import matplotlib.pyplot as plt
import scipy.io as sio

def data_preprocess(X):
    #数据预处理
    return (X-np.mean(X,axis=0))/np.std(X,axis=0,ddof=1) #对特征进行均值求解（按列）

def PCA(X):
    sigma = X.T.dot(X)/len(X)
    U,S,V = np.linalg.svd(sigma)
    return U,S,V

def PCA_process(X,U,K): #进行降维操作 传入的K是我们目标维度
    return X.dot(U[:, :K])

def reconstruct_data(Z, U, K):  #进行升维操作
    return Z.dot(U[:,:K].T)

def visaulizing_images(X,r,d):    #r表示显示行数，d表示一行显示图片数
     n = X.shape[1]
     p = int(np.sqrt(n))
     for i in range(1,r*d+1):
         plt.subplot(r,d,i)   #m/d行，d列，第i个位置子图
         plt.axis("off")    #使得每个子图不显示坐标
         plt.imshow(X[i-1].reshape(p,p).T,cmap='Greys_r')   #人脸数据是倒着的，我们需要转置来摆正

     plt.show()


data = sio.loadmat("ex7faces.mat")
X = data['X']
visaulizing_images(X,2,5)   #显示原始图像
X = data_preprocess(X)
visaulizing_images(X,2,5)   #显示原始图像（归一化后的）

K = 36
U,S,V = PCA(X)
Z = PCA_process(X,U,K)
X_approx = reconstruct_data(Z,U,K)
visaulizing_images(X_approx,2,5)   #显示原始图像

脸部基本特征还是被保留了。