特征值，特征向量，SVD分解，PCD分解

特征值，特征向量：

 对于n阶方阵A，在A张成的空间里，存在非零向量v， 该向量转换到A张成的空间时，方向不变，大小变为λ倍。

①  Av = λv 

变换一下：

②  (A - λI)v = 0

对于A向量，特征向量存在非零解的充要条件是下面的行列式值为0：

det(A - λI) = 0

计算出特征值λ。

λ可能有多个值，分别将每个值代入公式②，计算向量v，v是个表达式，也就是可以是多个向量。

向量v只会被伸缩而不会改变方向。代入任意一个值，得到一个特征值λ的特征向量v。

• 特征值性质：

        特征值λ相加 = 矩阵迹相加

        特征值λ相乘 = 矩阵的行列式

A矩阵的特征值分解：

其中W为特征向量组成的矩阵，Σ为对应特征值组成的对角矩阵

---

主成分分析 PCA

主成分可以看作是数据的新坐标系中的基向量，将原始数据投影到这些主成分上，可以实现数据降维。

步骤：

1. 将原点放到数据的中心位置。
2. 找到方差最大的方向

也就是：先将坐标轴的原点移动到数据的中心，再将坐标系旋转到方差最大的方向。这样大多数数据被压缩到一个低维度的X轴上。

关键步骤是找到方差最大的方向，假设手里的数据是D'，符合正态分布的数据是D：

手上的数据D'的协方差：

                

找出旋转矩阵R就可以知道坐标轴应该旋转的角度

将C'进行特征分解得到：
        C' = WΣW(-1)

可见R = W

W为C'的特征向量组成的矩阵。
 

L值为特征值组成的矩阵，为S矩阵在两个方向拉伸倍数的平方，为旋转后的坐标系下，数据的方差。此时在该坐标系下方差最小。

---

奇异值分解 SVD

任意一个形状的矩阵M，可以分解成如下的形式：

        

• M 的形状为m*n，U的形状为m*m的方阵，V为n*n的方阵，Σ为m*n形状矩阵。
• U 是 得到的结果矩阵的特征向量组成的m*m的方阵
• Σ对角为奇异值，该值的平方等于特征值，而且依次从大到小排列。
• V 是  得到的结果矩阵的特征向量组成的n*n的方阵，公式用的是其转置，numpy中提供的函数：np.linalg.svd()，给出的结果也是转置后的结果。
  V也是PCA主成分的方向
• U和V都是酉矩阵，即满足：

求解步骤：