方程组求解总结

正方形线性方程组求解：系数矩阵非奇异

• 雅克比迭代、高斯-赛德尔迭代、(超)松弛迭代；
• 对稀疏矩阵与处理后，万能高斯-赛德尔迭代。
• 参考本文

欠定线性方程组：方程个数 < 未知数个数

• 有无穷解：用广义加号逆求通解、唯一极小范数解；
• 参考本文

超定线性方程组：方程个数 > 未知数个数

• 无解：用广义加号逆求全部最小二乘解、唯一极小范数最小二乘解；
• 参考本文和上文

补充1：总之，不管系数矩阵是什么样子，
只要方程无解，用广义逆可以求它的全部最小二乘解和唯一极小范数最小二乘解；
只要方程有通解，用广义逆可以求它的通解和唯一极小范数解；
只要方程有唯一解，那系数矩阵一定是正方形的，广义逆和普通逆完全一样。

---

正方形非线性方程组：若有解，一般都是多解！

• 牛顿法：原始牛顿法、修正牛顿法；
• 拟牛顿法：逆Broyden秩1、逆Broyden秩1第二方法、BFS秩2。
• 参考本文

补充2：非线性方法组个人感觉不用考虑方程个数和未知数个数的关系，一般都是正方形。因为不管是正方形还是长方形，若有解都是很多解(交线、交面等)！所以都是归结于到一个"局部收敛"问题。