PCA_去相关_白化

---

PCA 学习自 A tutorial on Principal Components Analysis(Lindsay. Smith-2002)

去相关和白化 学习自 Topic: Decorrelating and then Whitening data (Rosalind W. Picard)

文中提到的前置知识：样本均值，样本方差，协方差，协方差矩阵，特征值，特征向量。

---

PCA（主成分分析）

前提

问题：样本的很多特征是冗余的，如何选择出合适的特征？

目标：
$\{x_1,x_2,...,x_m\}-->\{y_1,y_2,...,y_m\}$
样本数量: $m-->m$
样本维度: $n-->k,n>k$
实现降维。

---

特征选择：特征为n维的数据中选择出k维
特征提取：特征为n维的数据进行变换f(·)，得到特征为k维的数据。
PCA是特征提取的一种方法。

---

PCA算法

定义：
样本数 = m
特征维度 = n
降低的维度 = k, k

流程:
$M_{input}(m,n)-->M_{mean}(m,n)-->M_{cov}(n,n)-->M_{select}(n,k)-->M_{reduce}(m,k)$

①Zero-mean data：
$M_{input}(m,n)$各维度的数据减去各维度均值, 记矩阵为$M_{mean}(m,n)$
②计算协方差矩阵$M_{cov}(n,n)$，及其特征值和特征向量。此时的特征向量的单位向量。
③特征值降序排列，选择前k个特征值对应的特征向量组成矩阵$M_{select}(n,k)$
④计算降维矩阵$M_{reduce}(m,k)=M_{mean}{M}_{select}$

---

Python代码

def my_pca(input,reduce_dim):
    '''
    input: 输入特征 （样本数，特征维度）
    reduce_dim: 想要降低的维度 int
    output.T: 降维后的特征 （样本数，reduce_dim）

    demo
    a = [[0,1],[2,1],[3,2],[3,0]]
    b = my_pca(a,1)
    print(b)
    '''
    assert len(input[1])>reduce_dim # 降低的维度应该比原本维度小
    mean_input = input - np.mean(input, axis=0)  # 对每个维度求均值,实现input的0均值化
    new_input = np.array(mean_input).T #（特征维度,样本数），转换输入格式
    covMat = np.cov(new_input)  # 求出mean_input的协方差矩阵，（特征维度，特征维度）
    eig_vals, eig_vects = np.linalg.eig(covMat)  # 求特征值和特征向量
    new_vals_id = np.argsort(-eig_vals)[:reduce_dim]  # 特征值由大到小排序，选取前reduce_dim个特征值new_vals的下标
    new_vects = eig_vects[:, new_vals_id]  # 找new_vals对应的特征向量
    output = new_vects.T.dot(new_input)    # 得到降维后的矩阵
    return output.T

---

去相关

前提

问题：在不改变特征维度的情况下，如何让数据各个维度有区分度？

已知：
①协方差矩阵$\Sigma$表示了变量之间的相关性。
②若协方差矩阵$\Sigma$是一个对角阵$\Lambda$，每个维度自身与其他维度相关性为0，则数据的各个维度有区分度。
③协方差矩阵$\Sigma$是一种实对称矩阵，而实对称矩阵可以对角化。

去相关：
将协方差矩阵$\Sigma$变成对角阵$\Lambda$。

---

实现

定义：
${\Sigma }_x$: 原数据的协方差矩阵
$\Phi$: ${\Sigma }_x$的特征向量组成的矩阵
$\Lambda$: ${\Sigma }_x$的特征值组成的对角阵
${\Sigma }_y$: 去相关后的协方差矩阵

$${\Sigma }_x=E(\mathbf{x}{\mathbf{x}}^{\mathbf{T}})$$
$${\Phi }^T={\Phi }^{-1}$$
$${\Sigma }_x\Phi =\Phi \Lambda$$
$$\Lambda ={\Phi }^{-1}{\Sigma }_x\Phi ={\Phi }^T{\Sigma }_x\Phi ={\Phi }^{T}E(\mathbf{x}{\mathbf{x}}^T)\Phi =E({\Phi }^T\mathbf{x}{\mathbf{x}}^T\Phi )$$

流程：
$M_{input}(m,n)-->M_{mean}(m,n)-->{\Sigma }_x(n,n)-->{\Sigma }_y(n,n)$

①求解${\Sigma }_x$的$\Phi$和$\Lambda$。
②令$\mathbf{y}={\Phi }^T\mathbf{x}$, 可得：
$$\begin{array}{rl}{\Sigma }_y& =E(\mathbf{y}{\mathbf{y}}^T)\\ & =E({\Phi }^T\mathbf{x}({\Phi }^T\mathbf{x}{)}^T)\\ & =\Lambda \end{array}$$

---

白化

前提

在去相关的基础上，
对角化后得协方差矩阵${\Sigma }_y$，其主对角线上得所有元素并不相同。

白化：令对角阵$\Lambda$的每个元素相等,使得${\Sigma }_y$变换为对角阵${\Sigma }_{white}$。
注：大多数情况下白化是有效的，但对于高斯分布的数据效果不好。

---

实现

$I$ : 单位矩阵

$${\Lambda }^{-\frac{1}{2}}\Lambda {\Lambda }^{-\frac{1}{2}}=I$$
$${\Lambda }^{-\frac{1}{2}}{\Phi }^T{\Sigma }_x\Phi {\Lambda }^{-\frac{1}{2}}=I$$

令$\mathbf{w}={\Lambda }^{-\frac{1}{2}}\mathbf{y}={\Lambda }^{-\frac{1}{2}}{\Phi }^T\mathbf{x}$

则有：
$${\Sigma }_{white}=E(\mathbf{w}{\mathbf{w}}^T)=E({\Lambda }^{-\frac{1}{2}}{\Phi }^T{\Sigma }_x\Phi {\Lambda }^{-\frac{1}{2}})=I$$

---

对角化和白化都是矩阵通过线性变化得到。
$$y=A^{T}x,A=\Phi$$
$$w=A_w^{T}x,A_w=\Phi {\Lambda }^{-\frac{1}{2}}$$