特征值和特征向量及其在机器学习中的应用

特征值和特征向量

特征值和特征向量直观理解的参考视频：P14 10 - 特征向量与特征值

矩阵作用在向量上

矩阵作用在向量上，很大可能会改变向量原坐标系下的位置，也就是该向量在空间中进行了一次空间的变化。可视化在视频中有着非常好的体现。
$$\begin{array}{rl}& A=\left[\begin{array}{cc}3& 1\\ 0& 1\end{array}\right]\\ & x_1=\left[\begin{array}{c}1\\ 0\end{array}\right],A{x}_1=\left[\begin{array}{c}3\\ 0\end{array}\right]\\ & x_2=\left[\begin{array}{c}1\\ 1\end{array}\right],A{x}_1=\left[\begin{array}{c}4\\ 1\end{array}\right]\end{array}$$

那么对于原坐标系下的所有向量来说，他们都在空间中进行了一次空间变化，有伸缩的（x1，只是扩大了3倍）、有旋转的、有二者兼有的（x2）。

特征值和特征向量

那么，我们对只进行了伸缩的，也就是留在了自己的张量空间内的向量称为特征向量，其伸缩因子称为特征值。需要注意的是：在一个矩阵变化下，可能存在多个特征向量或者没有（进行了维度内全部向量旋转变化的矩阵）。

求解特征值和特征向量

由于特征向量仍然留在自己的张量空间内，只是进行了伸缩，那么对于特征值和特征向量来说，以下式子成立（注意，A必须为方阵，因为设A是n*m维的矩阵，v必须是m*1维，Av是n*1维，v是m*1维，二者相等，因此n=m，所以A是方阵）
$$Av=\lambda v$$
要求解特征值和特征向量，需要先变换成如下的式子
$$(A-\lambda I)v=0（转成\lambda I是为了两边都变成矩阵乘以向量的形式，才能进行相减）$$
如果向量是一个零向量是没有任何研究意义的，因此我们主要研究的是对于非零向量这条式子成立。当且仅当
$$|A-\lambda I|=0$$
也就是这个矩阵有空间压缩作用的时候（可视化在开头推荐的视频中），对于非零向量才有
$$(A-\lambda I)v=0$$
成立。下面给出一个简单证明

证明

$$\begin{array}{rl}& 假设A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]，x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],b=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]\\ & 求Ax=b有\\ & \{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2=b_1\\ a_{21}{x}_1+a_{22}{x}_2=b_2\end{array}\\ & 有\\ & \{\begin{array}{l}{x}_1(a_{11}{a}_{22}-a_{12}{a}_{21})=b_1{a}_{22}-b_2{a}_{12}\\ \\ x_2(a_{11}{a}_{22}-a_{12}{a}_{21})=b_2{a}_{11}-b_1{a}_{21}\end{array}\\ & \\ & 当b_1,b_2都为0，且x_1,x_2不全为0时，只能是a_{11}{a}_{22}-a_{12}{a}_{21}=0\\ & \\ & 而a_{11}{a}_{22}-a_{12}{a}_{21}则是A的行列式\end{array}$$

举例

$$\begin{array}{rl}& 求A=\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]的特征值和特征向量\\ & 解：\\ & 设特征值是\lambda ，构造一个矩阵(A-\lambda I)\\ & \\ & 是为\left[\begin{array}{cc}3-\lambda & 1\\ 0& 2-\lambda \end{array}\right]\\ & \\ & 即det(A-\lambda I)=(3-\lambda )(2-\lambda )=0\\ & \\ & 解得\lambda =3或者\lambda =2\\ & \\ & 将\lambda =3代入(A-\lambda I)v=0\\ & \\ & 即求解\left[\begin{array}{ccc}3-3& 1& 0\\ 0& 2-3& 0\end{array}\right]=\left[\begin{array}{ccc}0& 1& 0\\ 0& -1& 0\end{array}\right]\\ & \\ & 解得\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{x}_1\\ 0\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]x_1,\therefore v_1=\left[\begin{array}{c}1\\ 0\end{array}\right]\\ & \\ & 同理，将\lambda =2代入解得v_2=\left[\begin{array}{c}-1\\ 1\end{array}\right]（这里还可以选择x_1=1）\end{array}$$

特征值和特征向量的作用和意义

1. 对于一个绕着某个向量只进行旋转的空间变化来说，特征向量就是那个旋转轴，特征值必须为1。视频4’17’'处有可视化展现。
2. 在机器学习中就是SVD奇异值分解的应用，具体可以看基变换、特征分解和SVD分解用于对数据进行降维，提取有用的特征。直观理解就是即使空间变换了，但这些特征向量还是维持在了自己原来的张量空间上，没有随着空间变换而变换，只是变了伸缩量。