机器学习实验:主成分分析PCA

实验 4:主成分分析 (Principal Component Analysis)

介绍(Introduction)

在本次实验中,将实现主成分分析方法,并使用它获得人脸图像的低维表示。

本次实验需要用到的数据集包括:

  • ex4data1.mat -2D 仿真数据集
  • ex4data2.mat -LFW人脸数据集

评分标准如下:

  • 要点1:数据标准化--------------------(10分)
  • 要点2:实现PCA算法-----------------(30分)
  • 要点3:降维仿真数据-----------------(10分)
  • 要点4:重构仿真数据-----------------(10分)
  • 要点5:降维人脸数据-----------------(20分)
  • 要点6:重构人脸数据-----------------(20分)

#%%

引入所需要的库文件

import os
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib as mpl
import seaborn as sb
from scipy.io import loadmat
import scipy

%matplotlib inline

1 实现主成分分析

在本部分实验中,将实现主成分分析算法。 算法步骤如下:
Step 1: 对所有样本进行标准化使得样本的均值为0,标准差为1
Step 2: 计算样本的协方差矩阵: X X T / N \mathbf{X}\mathbf{X}^T/N XXT/N,其中 N N N为样本个数
Step 3: 对协方差矩阵 X X T / N \mathbf{X}\mathbf{X}^T/N XXT/N 做奇异值分解(或特征值分解)
Step 4: 取最大的 d d d 个特征值所对应的特征向量 w 1 , ⋯   , w d \mathbf{w}_1,\cdots,\mathbf{w}_{d} w1,,wd
输出: 投影矩阵 W = [ w 1 , ⋯   , w d ] \mathbf{W}=[\mathbf{w}_1,\cdots,\mathbf{w}_{d}] W=[w1,,wd]

要点 1:

在下方cell中,请实现’‘数据标准化’'的代码

# ====================== 在这里填入代码 =======================
def Normalize(X):
    """   
    输入
    ----------
    X : 尺寸为 (D, N)的矩阵,第i列为第i个样本,D为样本的维数,N为样本的个数。 
    
    输出
    -------
    X_norm : 尺寸为 (D, N)的矩阵。 
    """  
    X_norm = X - X.mean(axis=1, keepdims=True)
    X_norm = X_norm / X.std(axis=1, keepdims=True)
    
    return X_norm 
# ============================================================= 

要点 2:

在下方cell中,请实现’‘主成分分析’'的代码

# ====================== 在这里填入代码 =======================
def PCA(X,d):
    """   
    输入
    ----------
    X : 尺寸为 (D, N)的矩阵,第i列为第i个样本,D为样本的维数,N为样本的个数。 
        
    d:  期望的维数
    
    输出
    -------
    W : 尺寸为 (D, d)的投影矩阵,第i列为协方差矩阵的第i个特征向量。 
    """
    
    # Step 1: 标准化(调用要点1中的代码)
    X_norm = Normalize(X)
    
    # Step 2: 计算协方差矩阵
    X_norm = X_norm @ X_norm.T
    
    # Step 3: 奇异值分解(查询numpy中进行奇异值分解的函数)
#     vals, vects = np.linalg.eig(np.mat(X_norm))
    U, sigma, VT = np.linalg.svd(X_norm)
    # Step 4: 取最大的个特征值所对应的特征向量并组成矩阵W
    sorted = np.argsort(-sigma)
    topn_index = sorted[:d]
    topn_vects = U[:, topn_index]
    W = topn_vects
    
    return W 
# ============================================================= 

如果完成了上述函数 pca,以下代码可用于测试。如果结果为[-0.707107, -0.707107],则计算通过。

# Load the dataset into the variable X 
# data = loadmat(os.path.join('Data', 'ex4data1.mat'))
data = loadmat(os.path.join( 'ex4data1.mat'))
X = data['X']
X=X.T
#  Run PCA
W= PCA(X,2)
# print(W)
print('第一个特征向量: W[:, 0] = [{:.6f}, {:.6f}]'.format(W[0, 0], W[1, 0]))

2 将PCA应用于仿真数据

在本部分实验中,将已实现的PCA算法应用于数据集1,该数据集中的样本维数为2,因此降维结束后,可通过可视化观察降维前后的结果。

#  可视化原始数据集
plt.plot(X[0, :], X[1, :], 'bo', ms=10, mec='k', mew=1)
plt.axis([0.5, 6.5, 2, 8])
plt.gca().set_aspect('equal')
plt.grid(False)

可视化标准化之后的数据集

X_norm=Normalize(X)
plt.plot(X_norm[0, :], X_norm[1, :], 'bo', ms=10, mec='k', mew=1)
plt.axis([-3, 2.75, -3, 2.75])
plt.gca().set_aspect('equal')
plt.grid(False)

2.1 利用PCA降维

利用上述PCA代码可将仿真数据降至1维。

要点 3:

在下方cell中,请实现’‘ProjectData’'的代码,输出降维后的数据。

# ====================== 在这里填入代码 =======================
def ProjectData(X, W):
    """   
    输入
    ----------
    X : 尺寸为 (D, N)的矩阵,第i列为第i个样本,D为样本的维数,N为样本的个数。 
    W : 尺寸为 (D, d)的投影矩阵,第i列为协方差矩阵的第i个特征向量。   
    
    输出
    -------
    Z : 尺寸为 (d, N)的矩阵,第i列为第i个降维后的数据。 
    """

    # Step 1: 标准化(调用要点1中的代码)
    X_norm = Normalize(X)
    
    # Step 2: 计算降维后的数据
    Z = W.T @ X_norm

    return Z
# ============================================================= 

如果完成了上述函数 ProjectData,以下代码可用于测试。如果结果为 1.496313,则计算通过。

将数据降至一维

W = PCA(X,1)
Z = ProjectData(X, W)
print('第一个样本降维后的数据: {:.6f}'.format(Z[0, 0]))

2.2 通过降维后的数据重构原始数据

利用降维后的数据矩阵 Z \mathbf{Z} Z,可近似重构原始数据。

要点 4:

在下方cell中,请实现’‘RecoverData’'的代码,输出重构后的数据。

# ====================== 在这里填入代码 =======================
def RecoverData(Z, W):
    """   
    输入
    ----------
    Z : 尺寸为 (d, N)的矩阵,第i列为第i个降维后的数据。 
    W : 尺寸为 (D, d)的投影矩阵,第i列为协方差矩阵的第i个特征向量。   
    
    输出
    -------
    X_rec : 尺寸为 (D, N)的矩阵,第i列为第i个重构后的数据。 
    """
    X_rec = W @ Z
    
    return X_rec
# ============================================================= 

如果完成了上述函数 RecoverData,以下代码可用于测试。如果结果为[-1.058053, -1.058053],则计算通过。

重构原始数据

X_rec = RecoverData(Z, W)

# print('第一个重构后的数据: {:.6f}'.format(X_rec[:, 0]))
print('第一个重构后的数据: X_rec[:, 0] = [{:.6f}, {:.6f}]'.format(X_rec[0, 0], X_rec[1, 0]))

#可视化重构前后的结果
X_norm=Normalize(X) 

#  Plot the normalized dataset (returned from featureNormalize)
fig, ax = plt.subplots(figsize=(5, 5))
ax.plot(X_norm[0, :], X_norm[1, :], 'bo', ms=8, mec='b', mew=0.5)
ax.set_aspect('equal')
ax.grid(False)
plt.axis([-3, 2.75, -3, 2.75])

# Draw lines connecting the projected points to the original points
ax.plot(X_rec[0, :], X_rec[1, :], 'ro', mec='r', mew=2, mfc='none')
for xnorm, xrec in zip(X_norm.T, X_rec.T):
    ax.plot([xnorm[0], xrec[0]], [xnorm[1], xrec[1]], '--k', lw=1)

3 将PCA应用于人脸重构

在本部分实验中,将已实现的PCA算法应用于数据集2,为LFW人脸数据集合的子集。

#  Load Face dataset
data = loadmat(os.path.join( 'ex4data2.mat'))
X = data['X']
X=X.T
X = X[:,:100]
#定义显示人脸图像函数
def displayImage(X):
    """   
    输入
    ----------
    X : 尺寸为 (D, N)的矩阵,第i列为第i个样本,D为样本的维数,N为样本的个数。   
    """
    # Compute number of items to display
    N=X.shape[1]
    display_rows = int(np.floor(np.sqrt(N)))
    display_cols = int(np.ceil(N / display_rows))
    
    figsize=(N,N)
    fig, ax_array = plt.subplots(display_rows, display_cols)

    ax_array = [ax_array] if N == 1 else ax_array.ravel()
    for i, ax in enumerate(ax_array):
        ax.imshow(X[:,i].reshape(32, 32, order='F'), cmap='gray')
        ax.axis('off')

3.1 利用PCA对人脸图像降维

要点 5:

利用PCA代码将人脸数据降至64维,并显示前16个特征向量。

# ====================== 在这里填入代码 =======================
#Step 1: 利用PCA对原始数据降维
W = PCA(X,64)

#Step 2: 调用前文中的displayImage函数显示前16个特征向量所对应的图像
displayImage(W[:,:16])
# ============================================================= 

3.2 通过主成分重构原始人脸数据

要点 6:

利用降维后的数据重构原始人脸数据,并显示前16个重构前后的人脸数据。

# ====================== 在这里填入代码 =======================
#Step 1: 利用RecoverData函数得到重构数据 
Z = ProjectData(X, W)
X_rec = RecoverData(Z, W)

#Step 2: 利用displayImage函数显示前16个原始图像  
displayImage(X[:,:16])
plt.gcf().suptitle('Original faces')

#Step 3: 利用displayImage函数显示前16个重构图像 
displayImage(X_rec[:,:16])
plt.gcf().suptitle('Recovered faces')
 
# =============================================================  

你可能感兴趣的:(机器学习,python,人工智能)