幂法(指数迭代法)

  幂法是通过迭代来计算矩阵的主特征值(按模最大的特征值)与其对应特征向量的方法,适合于用于大型稀疏矩阵。

幂法定义

  设$A = (a_{ij})\in R^{n\times n}$,其特征值为$\lambda_i$,对应特征向量$x_i(i=1,...,n)$,即$Ax_i = \lambda_i x_i(i=1,...,n)$,且$\{x_1,...,x_n\}$线性无关。

  任取一个非零向量$v_0\in R^{n}$,且$v_0\ne 0$,构造一个关于矩阵$A$的乘幂的向量序列:

$v_k = Av_{k-1}=A^2v_{k-2}=A^3v_{k-3}=...=A^kv_{0}$

  称$v_k$为迭代向量。

  设特征值$\lambda_i$的前$r$个为绝对值最大的特征值(ppt中分为$\lambda_1$强占优和非强占优,感觉没必要),即有:

$|\lambda_1|=|\lambda_2|=...=|\lambda_r|>|\lambda_{r+1}|\ge...\ge|\lambda_n|$

  由于$\{x_1,...,x_n\}$ 线性无关,所以构成$R^n$的一个基,于是$v_0$能被表达为:

$v_0=\sum\limits_{i=1}^{n}\alpha_i x_i$(且设$\alpha_1...\alpha_r$非全零)

   由$Ax_i = \lambda_i x_i$:

$v_k = Av_{k-1}=...=A^kv_{0}=\sum\limits_{i=1}^{n}A^k\alpha_i x_i=\sum\limits_{i=1}^{n}\lambda_i^k\alpha_i x_i=\lambda_1^k(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_k)$

  其中:

$\varepsilon_k = \sum\limits_{i=r+1}^{n}(\frac{\lambda_i}{\lambda_1})^k\alpha_ix_i$ 

  因为$\lambda_1$最大,所以有$|\frac{\lambda_i}{\lambda_1}|<1 (i=r+1,...,n)$,从而有:

$\lim\limits_{k\to \infty}(\frac{\lambda_i}{\lambda_1})^k=0 (i=r+1,...,n)$

  所以有:

$\lim\limits_{k\to \infty}\varepsilon_k = 0$

$\lim\limits_{k\to \infty}v_k = \lim\limits_{k\to \infty}\lambda_1^k(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_k) = \lim\limits_{k\to \infty}\lambda_1^k(\sum\limits_{i=1}^{r}\alpha_ix_i)$

  因为在上式中$(\sum\limits_{i=1}^{r}\alpha_ix_i)$是固定项,可以看出,迭代到后期,$v_{k+1}$和$v_k$的各个元素有固定比值$\lambda_1$,即:

$\lim\limits_{k\to \infty}\frac{(v_{k+1})_i}{(v_{k})_i} = \lambda_1$

  这样,收敛到主特征值后,还可另外计算它对应的一个特征向量(其实就是构成$v_0$的前$r$项之和,而且只能算一个):

$\lim\limits_{k\to \infty}\frac{v_{k}}{\lambda_1^k} = \sum\limits_{i=1}^{r}\alpha_ix_i$

  其中收敛速度由比值$|\frac{\lambda_{r+1}}{\lambda_1}|$决定,越小收敛越快。

 幂法改进

  以上定义中,随着不断的迭代,如果$|\lambda_1|>1$,$v_k$会无限大;如果$|\lambda_1|<1$,$v_k$则会趋于0。在计算机中就会导致溢出而出错。当然如果$|\frac{\lambda_{r+1}}{\lambda_1}|$很小,使得$\varepsilon_k$能快速收敛为0,并且$|\lambda_1|$不会太大或太小以至于在$\varepsilon_k$收敛前$v_k$就溢出了,那用上述方法就行了。

  但是通常不会碰到那么好的运气,所以就在每次迭代的时候就要对$v_k$进行“规范化”,防止它溢出。规范化就是将向量除以一个标量,使向量的长度为1,而向量的长度有多种度量法,比如$||\cdot||_2、||\cdot||_\infty$等。一般使用$||\cdot||_\infty$,就是向量各个分量的绝对值的最大值(用别的也一样,但是这个复杂度最小,计算机最好算)。

  为了便于理解,将一次迭代分为两步,一步乘矩阵$A$,一步除以向量长度进行规范化:

迭代序号  乘$A$($v_i$) 规范化($u_i$)
初始化 随机取$v_0=\sum\limits_{i=0}^{n}\alpha_ix_i$ $u_0=\frac{v_0}{||v_0||}$
1 $v_1=Au_0=\frac{Av_0}{\left\|v_0\right\|}$ $u_1=\frac{v_1}{||v_1||}=\frac{\frac{Av_0}{\left\|v_0\right\|}}{\left\|\frac{Av_0}{\left\|v_0\right\|}\right\|}=\frac{Av_0}{\left\|Av_0\right\|}$
2 $v_2=Au_1=\frac{A^2v_0}{\left\|Av_0\right\|}$ $u_2=\frac{v_2}{||v_2||}=\frac{\frac{A^2v_0}{\left\|Av_0\right\|}}{\left\|\frac{A^2v_0}{\left\|Av_0\right\|}\right\|}=\frac{A^2v_0}{\left\|A^2v_0\right\|}$
... ... ...
k $v_k=Au_{k-1}=\frac{A^kv_0}{\left\|A^{k-1}v_0\right\|}$ $u_k=\frac{v_k}{||v_k||}=\frac{\frac{A^kv_0}{\left\|A^{k-1}v_0\right\|}}{\left\|\frac{A^kv_0}{\left\|A^{k-1}v_0\right\|}\right\|}=\frac{A^kv_0}{\left\|A^kv_0\right\|}$
... ... ...

  根据迭代,以下计算主特征值和对应的特征向量。

主特征值  

  对于向量序列${v_k}$:

$v_k=\frac{A^kv_0}{\left\|A^{k-1}v_0\right\|}=\frac{\lambda_1^k(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_k)}{\left\|\lambda_1^{k-1}(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_{k-1})\right\|}$

  对$v_k$取范数:

$||v_k||=\frac{\left\|\lambda_1^k(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_k)\right\|}{\left\|\lambda_1^{k-1}(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_{k-1})\right\|}=|\lambda_1|\frac{\left\|\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_k\right\|}{\left\|\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_{k-1}\right\|}\to\left|\lambda_1\right|, (k\to\infty)$

  注意!在计算机中并不是直接通过这个极限$k\to\infty$来计算,而是通过上面表格的迭代来实现$k\to\infty$,由于每一步的“规范化”,才能使得计算成为可能。而且如果直接用这个极限算的话就和前面的没区别了,“规范化”的优势没有用起来。

  另外,因为算范数的时候是先取向量分量的绝对值再算的,所以改进后的方法计算出来的主特征值不可避免带有绝对值,因此特征值的符号还要再判断一下(下面判断)。而改进之前的是不带的(因为没有计算范数进行规范化),如果符合条件,改进之前的也可一试。

主特征值对应的一个特征向量

  观察向量$u_k$:

$u_k=\frac{A^kv_0}{\left\|A^kv_0\right\|}=\frac{\lambda_1^k(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_k)}{\left\|\lambda_1^{k}(\sum\limits_{i=1}^{r}\alpha_ix_i+\varepsilon_{k})\right\|}\to{\rm sign}(\lambda_1^k)\frac{\sum\limits_{i=1}^{r}\alpha_ix_i}{\left\|\sum\limits_{i=1}^{r}\alpha_ix_i\right\|},(k\to\infty)$

  如上,通过$u_k$可获得一个单位化的主特征值特征向量。因为还乘上了$\lambda_1^k$的符号,所以向量各个分量的符号和迭代的次数$k$有关。当$k$足够大(使迭代收敛),连续两次迭代,$u_k$的分量的符号不变时,则可以判断主特征值符号为正,否则为负,从而解决了上面主特征值符号未知的问题。

  另外,求出的单位特征向量(如果用L2范数)是主特征值的所有不相关特征向量的线性组合,与设置的$v_0$有关。当然如果主特征值的没有重根,且$\alpha_1$不为零(为零的话就迭代出第二大的特征值),规范化后得出的都是同一个特征向量(如果特征值为负,符号可能随迭代次数改变)。

Python代码

 1 import numpy as np
 2 
 3 #矩阵A
 4 A = np.matrix(
 5     [[-5.6,2.,0.],
 6     [3.,-1.,1.],
 7     [0.,1.,3.]])
 8 L0=2#范数类型
 9 v = np.matrix([[-2.],[-7.],[1.]])#v0
10 u = v/(np.linalg.norm(v,L0))#u0
11 
12 #迭代函数
13 def iterate_fun(A,u,final,L):
14     i=0
15     while i<final: 
16         v = A*u
17         u = v/(np.linalg.norm(v,L))
18         i=i+1
19     print("幂法特征值:")
20     print(np.linalg.norm(v,L))
21     print("numpy特征值:")
22     print(np.linalg.eig(A)[0])
23     print("幂法特征向量:")
24     print(u)
25     print("numpy特征向量:")
26     print(np.linalg.eig(A)[1])
27 
28 iterate_fun(A,u,1010,L0)

  结果截图:

 

幂法(指数迭代法)_第1张图片

  主特征值与numpy算出来绝对值一致。这里用的是L2范数,且主特征值无重根,所以计算出来的特征向量单位化后和numpy主特征值对应的向量除符号外相同。

你可能感兴趣的:(幂法(指数迭代法))