李航老师《统计学习方法》第十六章主成分分析课后题答案

其他章节答案请参考我的汇总统计学习方法答案汇总，都是自己写的。

1、对以下样本进行主成分分析：$$\left[\begin{array}{cccccc}2& 3& 3& 4& 5& 7\\ 2& 4& 5& 5& 6& 8\end{array}\right]$$

解：

import numpy as np
def PCA(X):
    # 下面先对数据进行规范化
    s = np.shape(X)
    for i in range(s[0]):
        mean_i = np.mean(X[i, :])
        s_ii = np.sqrt(sum((X[i,:] - mean_i) * (X[i,:] - mean_i)) / (s[1] - 1))
        X[i,:] = (X[i, :] - mean_i) / s_ii
        
    X_T = X.T / np.sqrt(s[1] - 1)
    #下面计算规范化之后的协方差矩阵
    cov_matrix = np.matmul(X_T.T, X_T)
    print('协方差矩阵是：', cov_matrix)
    #下面开始对X_T进行奇异值分解
    U, char, V = np.linalg.svd(X_T)
    #下面开始计算因子负荷量
    for i in range(s[0]):
        print('第%d个主成分对各个x变量的负荷量：'%(i + 1), char[i] * V[i, :])
    

if __name__ == '__main__':
    X = np.array([[2,3,3,4,5,7],
              [2,4,5,5,6,8]], dtype = np.float32)
    PCA(X)

输出为：

协方差矩阵是： 
[[1.        0.9503288]
 [0.9503288 0.9999999]]
 
第1个主成分对各个x变量的负荷量： [0.9875042 0.9875041]
第2个主成分对各个x变量的负荷量： [ 0.157593   -0.15759301]

2、证明样本协方差矩阵S是总体协方差矩阵方差$\Sigma$的无偏估计。

证：计算数学的我直接懵了，看下面这个大佬的解答吧：样本协方差矩阵是总体协方差矩阵的无偏估计，大概是知道了怎么回事，过一段时间自己证明一下。

3、设$X$为数据样本的规范化矩阵，则主成分等价于求解以下最优化问题：$$\begin{gathered} \underset{L}{\min }{\Vert X-L\Vert }_F \\ s.t.rank(L)\le k \end{gathered}$$，这里$F$是佛罗贝尼乌斯范数，$k$是主成分的个数。试问为什么？

证：
1、先证明主成分求解是所给最优化的解。
因为下面两个最优化问题是等价的
$$\begin{gathered} \underset{L}{\min }{\Vert X-L\Vert }_F \\ s.t.rank(L)\le k \end{gathered}$$
$$\begin{gathered} \underset{L}{\min }{\Vert \frac{X^{{}^{\prime }}}{\sqrt{n-1}}-\frac{L^{{}^{\prime }}}{\sqrt{n-1}}\Vert }_F \\ s.t.rank(L)\le K \end{gathered}$$

之所以给出这个等价的最优化问题，是为了使用主成分分析的奇异值分解方法。我们将下面的最优化问题仍然记为
$$\begin{gathered} \underset{L}{\min }{\Vert X-L\Vert }_F \\ s.t.rank(L)\le k\text{\hspace{1em}(1)} \end{gathered}$$
这样我们对$X$进行奇异值分解得到
$$X=U\Sigma V^T\text{\hspace{1em}(2)}$$
将公式(2)带入（1）的目标函数我们得到
$$\begin{gathered} {\Vert X-L\Vert }_F={\Vert U\Sigma V^T-U{U}^{T}LV{V}^T\Vert }_F \\ ={\Vert \Sigma -U^{T}LV\Vert }_F \end{gathered}$$
其中$\Sigma =Diag\{{\lambda }_1,{\lambda }_2,...,{\lambda }_n\}$是一个对角矩阵，因为矩阵$L$的秩最大为$k$,结合题目中范数的定义，我们得到当$U^{T}LV$也是一个对角矩阵的时候，且$U^{T}LV=Diag\{{\lambda }_1,{\lambda }_2,...,{\lambda }_k,0,0,...,0\}$的时候，求得极小值，也就是
$$L=U\ast Diag\{{\lambda }_1,{\lambda }_2,...,{\lambda }_k,0,0,...,0\}\ast V^T$$
因为求主成分就等价于求得$\{{\lambda }_1,{\lambda }_2,...,{\lambda }_k,0,0,...,0\},U,V$,根据这个最优化问题的解L的表达形式，我们可以知道已经将这个优化问题解决了。
2、下面根据最优化问题的解来推出主成分。
假设$L_0$是上面那个优化问题的最优解，我们对这个矩阵解$L_0$进行奇异值分解，$$L_0=UA{V}^T\text{\hspace{1em}(3)}$$
其中$A$是一个对角阵，我们将公式(3)带入最优化问题（1）的目标函数里面就得到
$$\begin{gathered} {\Vert X-L_0\Vert }_F={\Vert U{U}^{T}XV{V}^T-UA{V}^T\Vert }_F \\ ={\Vert U^{T}XV-A\Vert }_F \end{gathered}$$
因为A是对角阵，要使得问题达到最优，要使A的秩尽可能的大，且U,V使得X也是一个对角矩阵。一定可以使得$U^{T}XV$成为一个对角阵，如果不是，我们对$X$进行奇异值分解，可以得到另外一个比$L_0$更优解，这与$L_0$是最优解就矛盾，因而到此得证！