主成分分析

1.摘要

本篇博客主要用于记录主成分分析的原理推导和用法，以加深理解和记忆。

2.数据降维

1）简介：机器学习领域中的数据降维是将高维空间中的数据点映射到某个低维空间中，是一种应用广泛的数据预处理方法
2）优点：使数据集更加易用；降低算法开销；去除噪声；使结果容易理解（低维可视化）
3）降维算法举例：主成分分析PCA；因子分析FA；独立成分分析ICA；等距映射；局部线性嵌入

3.主成分分析

主成分分析PCA(primary compoments analysis)是一种广泛使用的数据降维算法，其思想是在高维空间中寻找一个低维子空间，用高维空间中数据的低维映射作为降维后的数据表示。

在降维的过程中，我们希望降维后的数据具有更小的损失，也意味着保留尽可能多的信息（这是从数值大小上考量的）

沿着这两种等价的降维目标，主成分分析有两种理论推导方式：最大方差理论；最小化降维造成的损失。这两种思路都能推导出相同的结果，推导过程见5.6节。

4.矩阵与向量相乘对向量的影响

本节主要对更好的理解和推导主成分分析提供帮助
$$x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=1\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]+2\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]+3\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$$
$$Ax=\left[\begin{array}{ccc}{A}_{1,1}& A_{1,2}& A_{1,3}\\ A_{2,1}& A_{2,2}& A_{2,3}\\ A_{3,1}& A_{3,2}& A_{3,3}\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=1\left[\begin{array}{c}{A}_{1,1}\\ A_{2,1}\\ A_{3,1}\end{array}\right]+2\left[\begin{array}{c}{A}_{1,2}\\ A_{2,2}\\ A_{3,2}\end{array}\right]+3\left[\begin{array}{c}{A}_{1,3}\\ A_{2,3}\\ A_{3,3}\end{array}\right]$$
矩阵乘以向量可以看作向量在从原始空间到矩阵列空间的一个映射，相当于将一个向量/坐标轴进行旋转、缩放、高低维度的映射

5.最大方差理论

1）思路
在信号处理中认为信号具有较大的方差，噪声具有较小的方差（信噪比是信号与噪声的方差比，越大越好）

沿着这种思路，我们通过旋转坐标轴，在高维空间中寻找一个低维子空间，使得原始数据在新空间相互正交的坐标轴(一组正交基）上的映射尽可能的分散（如下图，相比于紫色坐标轴上的映射，我们更倾向于绿色坐标轴上的映射）

原始数据在新空间坐标轴上的表示即是降维后的新数据表示

2）推导
设样本集合为：$X=\{x_1,x_2,...,x_m\}$
设正交基集合为：$U=\{u_1,u_2,...,u_k\}$
则某一样本点$x_i$在某一基底$u_j上$的投影长度为：$x_i^T{u}_j$（两向量点积的几何意义）
所有样本点在某基底$u_j$上的方差（目标函数）：
$$\begin{gathered} argmax{D}_j=\frac{1}{m}argmax\sum _{i=1}^m(x_i^T{u}_j-x_{center}^T{u}_j{)}^2 \\ 在数据运算前对数据X进行中心化，即x_{center}=0 \\ \therefore argmax{D}_j=\frac{1}{m}argmax\sum _{i=1}^m(x_i^T{u}_j{)}^2 \\ =\frac{1}{m}argmax\sum _{i=1}^m(u_j^T{x}_i{x}_i^T{u}_j) \\ =\frac{1}{m}argmax{u}_j^T\sum _{i=1}^m(x_i{x}_i^T)u_j \\ \therefore argmax{D}_j=\frac{1}{m}argmax{u}_j^T(X{X}^T)u_j \\ X{X}^T是实对称矩阵，必可相似对角化，通过特征分解，得 \\ argmax{D}_j=\frac{1}{m}argmax{\Lambda }_i \end{gathered}$$

即，当基底$u_j$为矩阵$X{X}^T$最大特征值对应的特征向量时，目标函数$D_j$取最大值即为最大特征值。
求出$X{X}^T$的特征值并按降序排列，其对应的特征向量组成的矩阵U即为编码矩阵（一组正交基），UX即为降维后数据的新表示。

3）$X{X}^T$的意义
在上面的推导中，X是样本每列中心化后的数据，即$X_i=x_{i,j}-x_{center:j}$，那么$X{X}_{i,j}^T=(x_{i:}-x_{center:j})(x_{:j}-x_{center:i})$，即$X{X}^T$为样本集的协方差矩阵。

4）方法总结
通过以上推导，我们可以得出将原始数据进行主成分分析的一种方法。

• 对原始数据进行中心化，即每列各个元素减去该列全部元素的均值（这一步实际对矩阵进行了初等变换，可以看作每行元素分别减去各行的1/m）
• 对中心化后的数据$X{X}^T$进行特征分解，将特征值降序排序，选择k维最大的特征值对应的特征向量作为新低维子空间中的正交基，组成编码矩阵E。
• 样本集X与编码矩阵E相乘得到降维后的数据表示

5）示例

• 原始数据:$X=\left[\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]$
• 中心化：$X_{center}=\left[\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]$
• 求协方差矩阵:
  $$Cov=\frac{1}{5}{X}_{center}^T{X}_{center}=\frac{1}{5}\left[\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right]\left[\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ \frac{4}{5}& \frac{6}{5}\end{array}\right]$$
• 求协方差矩阵的特征值及对应的特征向量，并将特征向量单位化
  ${\lambda }_1=2,{\eta }_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$
  ${\lambda }_2=\frac{2}{5},{\eta }_2=\left[\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$
• 将特征值降序排序，选择k（压缩到k维）个最大特征值对应的特征向量组成编码矩阵$E=[{\eta }_1,...,{\eta }_k]$
• 用原始矩阵与编码矩阵相乘得到映射后的新数据表示（这里取k=1）
  $X_{pca}=XE=\left[\begin{array}{cc}-1& -2\\ -1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}\right]\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]=\left[\begin{array}{c}\frac{-3}{\sqrt{2}}\\ \frac{-1}{\sqrt{2}}\\ 0\\ \frac{3}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right]$

6）python代码实现

import numpy as np


def pca(_data, k):
    """
    :description: 本方法提供从理论角度通过pca对数据进行降维,应注意数值问题
    :author: LinCat
    :param _data: 输入数据，矩阵
    :param k: 目标降维数
    :return: 降维后的数据，矩阵
    """
    # 数组转矩阵
    origin_matrix = np.mat(_data)
    print('-' * 10, '原始矩阵', '-' * 10)
    print(origin_matrix)
    # 行列数
    row_count = origin_matrix.shape[0]
    column_count = origin_matrix.shape[1]
    # 若所取维数不小于原矩阵维数，则直接返回
    if k >= column_count:
        return origin_matrix
    # 中心化
    center_matrix = origin_matrix
    for i in range(column_count):
        # 列向量
        column_vector = center_matrix[:, i]
        # 求列均值:注意这里直接仍以向量的形式求均值，后续计算时无需显式地迭代计算，使用矩阵计算方法
        column_mean = column_vector.sum(0) / column_vector.shape[0]
        # 该列每个元素减去对应列的列均值
        center_matrix[:, i] = column_vector - column_mean
    print('-' * 10, '中心化后的矩阵', '-' * 10)
    print(center_matrix)
    # 求转置矩阵
    transpose_matrix = center_matrix.T
    # 求协方差矩阵
    cov_matrix = transpose_matrix * center_matrix / row_count
    print('-' * 10, '协方差矩阵', '-' * 10)
    print(cov_matrix)
    # 求协方差矩阵的特征值与特征向量:注意特征值组成的矩阵中特征值按列向量组合
    characteristic_value, characteristic_vector = np.linalg.eig(cov_matrix)
    # 构造特征值与特征向量的字典数组，方便排序
    value_vector_dict = []
    for i in range(len(characteristic_value)):
        value_vector_dict.append({'value': characteristic_value[i], 'vector': characteristic_vector.T[i]})
    # 对数组字典根据特征值降序排序
    value_vector_dict.sort(key=lambda x: x['value'], reverse=True)
    print('-' * 10, '特征值与对应特征向量', '-' * 10)
    for value_vector_item in value_vector_dict:
        print(value_vector_item)
    # 选择k维特征向量组成编码矩阵
    encode_vector = None
    for i in range(k):
        encode_vector = value_vector_dict[i]['vector'] if encode_vector is None else np.vstack(
            (encode_vector, value_vector_dict[i]['vector']))
    print('-' * 10, '编码矩阵', '-' * 10)
    print(encode_vector.T)
    result_matrix = origin_matrix * encode_vector.T
    print('-' * 10, '降维后的矩阵', '-' * 10)
    print(result_matrix)
    return result_matrix


if __name__ == '__main__':
    # 初始数据集：5×2的矩阵，即5组2维数据
    _data = [[-1, -2],
             [-1, 0],
             [0, 0],
             [2, 1],
             [0, 1]]
    pca(_data, 1)

运行结果：

6.最小化降维损失

1）思路
将高维空间中的数据有损压缩到一个低维空间，再将其还原到原本的高维空间。我们希望原始数据和压缩还原后的数据（重构数据）之间的损失尽可能的小。

2）寻找编码器
通过编码矩阵E与m维列向量x相乘可以将原始向量从高维空间映射到n维低维空间：$y=E_{n,m}{x}_{m,1}$
通过解码矩阵U与映射后的n维向量y相乘可以将映射后的向量还原到m维高维空间：$x^{\prime }=U_{m,n}{y}_{n,1}$，这里限制解码矩阵U的各个列向量相互正交且都是单位向量。

沿着上面的思路，我们令原始输入向量和重构向量之间的距离（损失）最小：
$$\begin{gathered} E^{\ast }=argmi{n}_E||x-x^{\prime }|{|}_2^2平方L2范数 \\ {E}^{\ast }=argmi{n}_E(x-x^{\prime }{)}^T(x-x^{\prime })等价代换 \\ {E}^{\ast }=argmi{n}_E{x}^{T}x-x^T{x}^{\prime }-x^{\prime T}x+x^{\prime T}{x}^{\prime }分配律 \\ {E}^{\ast }=argmi{n}_E{x}^{T}x-2x^T{x}^{\prime }+x^{\prime T}{x}^{\prime }标量的转置是自己 \\ {E}^{\ast }=argmi{n}_E-2x^T{x}^{\prime }+x^{\prime T}{x}^{\prime }忽略无关项 \\ {E}^{\ast }=argmi{n}_E-2x^{T}Uy+(Uy{)}^{T}Uy=-2x^{T}Uy+y^T{U}^{T}Uy代入x^{\prime }意义 \\ {E}^{\ast }=argmi{n}_E-2x^{T}Uy+(Uy{)}^{T}Uy=-2x^{T}Uy+y^{T}y解码矩阵约束 \\ 令{▽}_c(-2x^{T}Uy+y^{T}y)=0向量微积分 \\ 得-2U^{T}x+2y=0 \\ 得y=U^{T}x \\ 所以E=U^T \end{gathered}$$
最终我们找到了编码器和解码器的关系，即编码器和解码器互为转置。
重构向量可以表示为：$x^{\prime }=U{U}^{T}x$

3）寻找解码器
编码器和解码器的关系已知，当我们找到解码器时，编码器也由此而生，寻找解码器时，我们需要考虑全部样本集合，不能再孤立地看待单个样本（向量），必须最小化所有维数和所有点上的误差矩阵的Frobenius范数。为了便于推导，我们约束解码器U为单一单位向量u。
$$\begin{gathered} u^{\ast }=argmi{n}_u\sum _i||x^i-u{u}^T{x}^i|{|}_2^2 \\ {u}^{\ast }=argmi{n}_u\sum _i||x^i-{x^i}^{T}u{u}^T|{|}_2^2转置的L2范数不变 \\ {u}^{\ast }=argmi{n}_u||X^T-Xu{u}^T|{|}_F^2向量堆叠成矩阵，注意Xi,:={x^i}^T \\ {u}^{\ast }=argmi{n}_{u}Tr((X-Xu{u}^T{)}^T(X-Xu{u}^T))等价代换 \\ {u}^{\ast }=argmi{n}_{u}Tr(X^{T}X)-Tr(X^{T}Xu{u}^T)-Tr(u{u}^T{X}^{T}X)+Tr(u{u}^T{X}^{T}Xu{u}^T) \\ {u}^{\ast }=argmi{n}_u-Tr(X^{T}Xu{u}^T)-Tr(u{u}^T{X}^{T}X)+Tr(u{u}^T{X}^{T}Xu{u}^T)忽略无关项 \\ {u}^{\ast }=argmi{n}_u-2Tr(X^{T}Xu{u}^T)+Tr(X^{T}Xu{u}^{T}u{u}^T)循环转置 \\ {u}^{\ast }=argmi{n}_u-2Tr(X^{T}Xu{u}^T)+Tr(X^{T}Xu{u}^T)u约束条件 \\ {u}^{\ast }=argmi{n}_u-Tr(X^{T}Xu{u}^T)合并同类项 \\ {u}^{\ast }=argma{x}_{u}Tr(X^{T}Xu{u}^T)等价代换 \\ {u}^{\ast }=argma{x}_{u}Tr(u^T{X}^{T}Xu)循环转置 \end{gathered}$$
最终化成了同最大方差理论推导一样的形式，通过对实对称矩阵$X^{T}X$的特征值分解可得，当u取最大特征值对应的特征向量时，上述式子取最大，即最大特征值。当U不限定为一维向量时，令U取k个最大的特征向量对应的特征值即可。

7.如何选择降维后的维度

• 均方误差和 total squared projection error：$\frac{1}{m}{\sum }_{i=1}^m||x^i-x^{\prime i}|{|}^2$ ，其中$x^{\prime i}$为映射后的值
• 原数据总量 total variation in the data：$\frac{1}{m}{\sum }_{i=1}^m||x^i|{|}^2$
• 损失比：$\frac{均方误差和}{原数据总量}$

从k=1开始，到k=m为维度，分别计算损失比，直到损失比小于目标值退出循环，如设置损失比 ≤ 0.01，则意味着降维后的数据可以保留99％的数据成分

8.scikit-learn PCA

5中按照最大方差理论的方法通过numpy库手写了一遍PCA的实现代码，sklearn库通过SVD分解已经封装了现成的PCA方法，这里给出调用代码，仍使用5中的例子进行对比

# sklearn的PCA
from sklearn.decomposition import PCA
import numpy as np
# 输入数据
X = np.array([[-1, -2], [-1, 0], [0, 0], [2, 1], [0, 1]])
# 映射维度
pca = PCA(n_components=1)
pca.fit(X)
print(pca.transform(X))

运行结果：

可以看出除了映射后坐标轴的顺序不同，计算的结果是一致的。