Eigenvalues And Eigenvectors

The Definition of Eigenvalues and Eigenvectors

• Definition：
  $$Ax=\lambda x$$

解释：Matrix$A$ 乘以 vector $x$ 得到$\lambda x$ 意味着，A作用于x并没有改变x的方向，只对其做了大小的改变。$x$ 是$A$的特征向量（Eigenvector）,$\lambda$是$A$的特征值（Eigenvalue）

• How to get Eigenvalues and Eigenvectors

1. 首先 $Ax=\lambda x$ ,那么，$Ax-\lambda x=0$ , $(A-\lambda I)x=0$ , 如果$x$非0向量，则$(A-\lambda I)$是singular的。所以det$(A-\lambda I)=0$
2. 然后，根据$|A-\lambda I|$=0 , 求出Eigenvalues $\lambda$ ,然后再根据$(A-\lambda I)x=0$求出Eigenvectors $x$
3. 例子：求A的特征值和特征向量$$A=\left[\begin{array}{cc}.8& .3\\ .2& .7\end{array}\right]$$
   
   解：
   特征值：$$|A-\lambda I|=\left|\begin{array}{cc}.8-\lambda & .3\\ .2& .7-\lambda \end{array}\right|=0$$
   $${\lambda }^2-\frac{3}{2}\lambda +\frac{1}{2}=(\lambda -1)(\lambda -\frac{1}{2})=0{\lambda }_1=1{\lambda }_2=\frac{1}{2}$$
   
   
   特征向量：
   $$\left[\begin{array}{cc}.8-1& .3\\ .2& .7-1\end{array}\right]x=0\left[\begin{array}{cc}.8-\frac{1}{2}& .3\\ .2& .7-\frac{1}{2}\end{array}\right]x=0$$
   $$x_1=(0.6,0.4)x_2=(1,-1)$$
   特征向量有很多，取最容易计算，典型值，其他的都是它的大小缩放。$A^2$的特征向量和A一样，特征值是${\lambda }_1^2{\lambda }_2^2$，即$A^{2}x={\lambda }^{2}x$

• Characteristics And Trick：

Characteristics :

1. 矩阵的对角元素之和（叫做Trace，中文叫做迹） 等于 Eigenvalues的和。
2. 矩阵的Determinant （行列式）等于 Eigenvalues 的积。
3. $(2A-I)x=(2\lambda -1)x$ 意味着： $2A-I$的Eigenvectors 都是$x$，Eigenvalues 变成 $2\lambda -1$。但是将单位阵$I$换成其他矩阵就不一定成立，因为此时的$A$和另一个矩阵的Eigenvectors 不一定都是x
4. 上/下三角、对角矩阵的特征值就是对角线上的元素。
5. $A^2$ 和$A^{-1}$ 和$A$ 的特征向量一样，特征值是${\lambda }^2$和 $\frac{1}{\lambda }$。数学语言：如果$Ax=\lambda x$，那么：$A^{2}x={\lambda }^{2}x和A^{-1}x=\frac{1}{\lambda }x$
6. 对矩阵做Elimination ，特征值会变化。

Tricks:

1. $|A-\lambda I|=0$可以直接得到：${\lambda }^2-Trace\cdot \lambda +determinant$去计算$\lambda$的值
2. 如果A是Singular ，那么 0 是其中一个Eigenvalue。
3. 如果A的每column 相加是1，那么 1 是其中一个Eigenvalue。
4. 正交矩阵（orthogonal matrix ：$A^{T}A=I$）的每个 $\lambda$的绝对值是 1
5. 反对称矩阵（skew-symmetric matrix：$A^T=-A$）的每个$\lambda$是纯虚数
6. 对称矩阵（symmetric matrix：$A^T=A$）的Eigenvectors 是相互Perpendicular的。
   
   

---

Diagonalizing Matrix

• 对角化：
  如果n by n的matrix $A$ 有n个线性无关的（linear independent）Eigenvectors：x1…xn , 那么将所有的x放在一起形成eigenvector matrix $S$，则对角化之后的矩阵$$\Lambda =S^{-1}AS=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]即A=S\Lambda S^{-1}$$

证明：

说明：$S$必须可逆，意味着，A必须有n个 independent Eigenvectors，否则 A 不能对角化。还有一点：A不可逆不代表A不能对角化，A的不可逆只意味A是singular，有一个0特征值，如果还有其他不为0的特征值，则A可以被对角化。

• 例子：
  $$A=\left[\begin{array}{cc}1& 5\\ 0& 6\end{array}\right]{\lambda }^{\prime }sareondiagonal:{\lambda }_1=1{\lambda }_2=6。Eigenvectors:\left[\begin{array}{c}1\\ 0\end{array}\right]\left[\begin{array}{c}1\\ 1\end{array}\right]$$
  那么：$$\Lambda =S^{-1}AS=\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& 5\\ 0& 6\end{array}\right]\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 6\end{array}\right]$$

• 性质：

1. 如果A有n个不同的Eigenvalues，那么一定有n个不同的Eigenvectors。
2. 在Eigenvector matrix $S$中，column（Eigenvectors）的顺序和Eigenvalues 的顺序是对应的。
   比如上面例子将$S中的x_1和x_2$交换：${\Lambda }_{new}=S^{-1}AS$
   $${\Lambda }_{new}=\left[\begin{array}{cc}0& 1\\ 1& -1\end{array}\right]\left[\begin{array}{cc}1& 5\\ 0& 6\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}6& 0\\ 0& 1\end{array}\right]$$

• 对角化的应用：

1. $A^2=S\Lambda S^{-1}S\Lambda S^{-1}=S{\Lambda }^2{S}^{-1}$   这个也能意味着：$A和A^2$有相同的$S$（即Eigenvectors），但是Eigenvectors变了，由原来的$\Lambda$变成${\Lambda }^2$ ,也就是每个特征值都变成平方。

2. 当A的所有特征值都小于1（|$\lambda$|<1）,则 $A^k=S{\Lambda }^k{S}^{-1}$,如果k足够大，则${\Lambda }^k$->0 ，那么$A^k$=0

3. 求解 Matrix Powers ：$A^k$

举例：斐波那契数列 (Fibonacci number) ,又称黄金分割序列。
序列： 0 , 1 , 1 , 2 , 3 , 5 ,8, 13 。。。 $F_{k+2}=F_{k+1}+F_k$
Problem : Find the Fibonacci number $F_{100}$


解：
$$假如：u_k=\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]那么：规则就是：$$
$$\begin{gathered} F_{k+2}=F_{k+1}+F_k \\ {F}_{k+1}=F_{k+1} \end{gathered}$$
$$\left[\begin{array}{c}{F}_{k+2}\\ F_{k+1}\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{F}_{k+1}\\ F_k\end{array}\right]⟶u_{k+1}=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]u_k$$
$$u_0=\left[\begin{array}{c}1\\ 0\end{array}\right]u_1=\left[\begin{array}{c}1\\ 1\end{array}\right]u_2=\left[\begin{array}{c}2\\ 1\end{array}\right]u_3=\left[\begin{array}{c}3\\ 2\end{array}\right]。。。u_{100}=\left[\begin{array}{c}{F}_{101}\\ F_{100}\end{array}\right]$$
$$\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\ast u_0=u_1\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\ast u_1=u_2⟶u_{100}=A^{100}{u}_0=\left[\begin{array}{c}{F}_{101}\\ F_{100}\end{array}\right]$$
$$A^k{u}_0=S{\Lambda }^k{S}^{-1}{u}_0\text{\hspace{1em}(1)}$$
以下3部分是对（1）式的常规解法：
(1) 任何一个向量都是Eigenvectors 的 linear combination。 所以：$u_0=c_1{x}_1+c_2{x}_2+...+c_n{x}_n$即：
$$u_0=\left[\begin{array}{ccc}& & \\ x_1& \cdots & x_n\\ & & \end{array}\right]\left[\begin{array}{cc}{c}_1& \\ ⋮& \\ c_n& \end{array}\right]u_0=Sc⟶c=S^{-1}{u}_0$$
(2) $S^{-1}{u}_0$ 就变成 $c$ ,得到下面结果：
$$A^k{u}_0=S{\Lambda }^k{S}^{-1}{u}_0=\left[\begin{array}{ccc}& & \\ x_1& \cdots & x_n\\ & & \end{array}\right]\left[\begin{array}{ccc}({\lambda }_1{)}^k& & \\ & \ddots & \\ & & {\lambda }_n{)}^k\end{array}\right]\left[\begin{array}{cc}{c}_1& \\ ⋮& \\ c_n& \end{array}\right]$$
(3) 结果：$u_k=c_1({\lambda }_1{)}^k{x}_1+c_2({\lambda }_2{)}^k{x}_2+...+c_n({\lambda }_n{)}^k{x}_n$




对于（1）式首先就是求$A$的Eigenvectors 和 Eigenvalues的问题，$|A-\lambda I|=0⟶{\lambda }^2-\lambda -1=0$
$${\lambda }_1=\frac{1+\sqrt{5}}{2}{\lambda }_2=\frac{1-\sqrt{5}}{2}对应的x_1=({\lambda }_1,1)x_2=({\lambda }_2,2)$$
$$u_0=\left[\begin{array}{c}1\\ 0\end{array}\right]=\frac{1}{{\lambda }_1-{\lambda }_2}(x1-x2)⟶c=\left[\begin{array}{c}\frac{1}{{\lambda }_1-{\lambda }_2}\\ -\frac{1}{{\lambda }_1-{\lambda }_2}\end{array}\right]$$
$$u_{100}=\frac{({\lambda }_1{)}^{100}{x}_1}{{\lambda }_1-{\lambda }_2}+(-1)\frac{({\lambda }_2{)}^{100}{x}_2}{{\lambda }_1-{\lambda }_2}$$
我们需要$F_{100}$ ，它是 $u_{100}$的第二个元素，则只需要$x_1,x_2$的第二个元素：都是1，所以$$F_{100}=\frac{({\lambda }_1{)}^{100}}{{\lambda }_1-{\lambda }_2}-\frac{({\lambda }_2{)}^{100}}{{\lambda }_1-{\lambda }_2}=\frac{1}{\sqrt{5}}\left[{\left(\frac{1+\sqrt{5}}{2}\right)}^{100}-{\left(\frac{1-\sqrt{5}}{2}\right)}^{100}\right]$$
尽管${\lambda }_1和{\lambda }_2$都是带根号，但是最终的结果一定是整数，因为Fibonacci number的规则：前面两个数相加得到后一个数，一定是整数。

黄金比例序列的由来：
$\left(\frac{1-\sqrt{5}}{2}\right)$<1, 当k越大， $F_k$ 只有前面的一项。$\frac{F_k}{F_{k-1}}={\lambda }_1=\frac{1+\sqrt{5}}{2}$