线性和非线性方程组迭代法

迭代法是通过构造$x=\varphi (x)$,让$x$迭代收敛至解向量

雅可比迭代法

$A=D-P$ 把A拆成对角矩阵减去一个对角全0的矩阵
$Ax=b->(D-P)x=b->x=D^{-1}Px+D^{-1}b$

高斯-塞德尔迭代法

雅可比迭代的改进
在计算$x_i^{k+1}$分量时,把前面计算出的一些$x_j^{k+1}$用上,而不是用$x_j^k$算

松弛迭代法

在高斯-塞德尔迭代法中
原本$x^{k+1}=f(x^k)$
现在加权变成 $x^{k+1}=\omega f(x^k)+(1-w)x^k$
$0<\omega <1$时,$\omega$是低松弛迭代
$1<\omega <2$时,是超松弛迭代
$2<=\omega$时,发散

牛顿迭代法

和一元非线性方程组类似,进行泰勒展开,把非线性转成线性进行迭代
$x^{k+1}=x^k+J^{-1}(x^k)(f(x^k))$
$J^{-1}(x)$是雅可比矩阵的逆矩阵

最速下降法

对于方程组$f_i(x)=0$,构造
$F(x)=f_1(x{)}^2+f_2(x{)}^2+f_3(x{)}^2+...$
计算梯度,选择步长,更新$x$,迭代到$F(x)$足够逼近0