主成分分析

PCA属于无监督学习算法中的一种，使用最广的一种实现方式是通过奇异值分解提取正交矩阵，然后将目标和正交矩阵相乘实现降维。降维后的维度皆由原数据维度组合而来，不从属任何一个原有的维度。降维后的第一个维度原则上等同于使用最小二乘法对数据进行拟合后所得到的线性回归直线的方向，第二个维度是与第一个维度正交且方向最大的方向，第三个、第四个等等同理，直到抽取的第K个维度。PCA的关键作用在于提取特征和剔除噪声，因而应用极广，除压缩数据外，在计算机视觉领域，可以通过PCA将人脸图像降维后计算欧式距离或余弦相似度实现人脸识别；在自然语言处理领域，可以提取近义词、搜寻近似主题文章。

待补 奇异矩阵与PCA关系

# 导入所需模块
import numpy as np
import pandas as pd

# 定义功能    
def pca(X):
	X = pd.DataFrame(X)
    X = (X - X.mean()) / X.std()    #标准化
    X = np.matrix(X)
    cov = (X.T * X) / X.shape[0]    #协方差矩阵
    U, S, V = np.linalg.svd(cov)    #奇异值分解
    return U

# PCA实现
X = np.random.random((50,2))    #定义示范数据
U = pca(X)    #提取正交矩阵
Y = np.dot(X, U[:,:1])    #获取降维数据（降至一维）
X_recovered = np.dot(Y, U[:,:1].T)    #从降维数据恢复