最小二乘法、梯度下降法、牛顿法、高斯牛顿法原理

线性预测器最佳预测系数

最小二乘法

【线性最小二乘法基本公式】
考虑超定方程组（超定指方程个数大于未知量个数）：

其中m代表有m个等式，n代表有 n 个未知数 β，m>n ；将其进行向量化后为：

显然该方程组一般而言没有解，所以为了选取最合适的 β让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）
当 时， S（β）取最小值，记作：

通过对 S（β）进行微分求最值，可以得到：

如果矩阵 XTX非奇异则 有唯一解 [1] ：

【原理】
https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95/2522346?fr=aladdin

梯度下降法

梯度下降法（gradient descent）是一种常见的一阶（first-order）优化方法，是求解无约束优化问题最简单、最经典的方法之一。所谓的一阶方法就是仅使用目标函数的一阶导数，不利用其高阶导数。

那什么是无约束优化问题呢？举个例子，在一元函数法f(x)的图像中，求无约束最优化问题，即不对定义域或值域做任何限制的情况下，求解函数f(x)的最小值。
既然在变量空间的某一点处，函数沿梯度方向具有最大的变化率，那么在优化目标函数的时候，自然是沿着负梯度方向去减小函数值，以此达到我们的优化目标。

如何沿着负梯度方向减小函数值呢？既然梯度是偏导数的集合，如下：

同时梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值即可，梯度下降法可以描述如下

以上是梯度下降法的一种理解方式。
https://blog.csdn.net/refuil/article/details/87955967

牛顿法

牛顿迭代法（Newton’s method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。

多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。方法使用函数 的泰勒级数的前面几项来寻找方程 的根。牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程 的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时线性收敛，但是可通过一些方法变成超线性收敛。另外该方法广泛用于计算机编程中。

//此函数是用来求一元3次方程ax^3+bx^2+cx+d=0的解
//比如 x^3-27=0，我们就可以输入1 0 0 -27，这样我们就可以得到一个解
#include
#include
using namespace std;
int main()
{
double diedai(double a,double b,double c,double d,double x);
double a,b,c,d;
double x=10000.0;
cout<<"请依次输入方程四个系数：";
cin>>a>>b>>c>>d;
x=diedai(a,b,c,d,x);
cout<0.000001)
{
x=x-(a*x*x*x+b*x*x+c*x+d)/(3*a*x*x+2*b*x+c);
}
return x;
}

高斯牛顿法

高斯一牛顿迭代法(Gauss-Newton iteration method)是非线性回归模型中求回归参数进行最小二乘的一种迭代方法，该法使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。其直观思想是先选取一个参数向量的参数值β，若函数ft(Xt，β)在β0附近有连续二阶偏导数，则在β0的邻域内可近似地将ft(Xt，β)看作是线性，因而可近似地用线性最小二乘法求解。

令

https://baike.baidu.com/item/%E9%AB%98%E6%96%AF%E2%80%94%E7%89%9B%E9%A1%BF%E8%BF%AD%E4%BB%A3%E6%B3%95?fromtitle=%E9%AB%98%E6%96%AF%E7%89%9B%E9%A1%BF%E6%B3%95&fromid=9868498