最小二乘法学习总结；线性预测器预测推导

1.最小二乘法、梯度下降法、牛顿法和高斯牛顿法的学习总结

1.最小二乘法
最小二乘法的原理，形式如下式：目标函数=∑（观测值−理论值）的平方
观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。

举一个最简单的线性回归的简单例子，比如我们有m个只有一个特征的样本：　
(x(1),y(1)),(x(2),y(2),…(x(m),y(m))(x(1),y(1)),(x(2),y(2),…(x(m),y(m))

样本采用下面的拟合函数：　　　　 hθ(x)=θ0+θ1x
这样我们的样本有一个特征x，对应的拟合函数有两个参数θ0和θ1需要求出。　　　　
我们的目标函数为：　　　　
J(θ0,θ1)=∑ i=1 m (y(i)−hθ(x(i))2=∑ i=1 m (y(i)−θ0−θ1x(i))2
最小二乘法便可以求出使J(θ0,θ1)J(θ0,θ1)最小时的θ0和θ1θ0和θ1，这样拟合函数就得出了。

2.梯度下降法
是一种寻找目标函数最小化的方法。

3.牛顿法
牛顿法的基本思想是利用迭代点处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。牛顿法的速度相当快，而且能高度逼近最优值。
牛顿法分为基本的牛顿法和全局牛顿法。
基本牛顿法是一种是用导数的算法，它每一步的迭代方向都是沿着当前点函数值下降的方向。

牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。这样就引入了全局牛顿法。

4.高斯牛顿法
Gauss-Newton非线性最小二乘算法
对于一个非线性最小二乘问题：

高斯牛顿的思想是把 f(x) 利用泰勒展开，取一阶线性项近似。

求解式（5），便可以获得调整增量△x 。这要求H可逆（正定），但实际情况并不一定满足这个条件，因此可能发散，另外步长△x可能太大，也会导致发散。

2.线性预测器预测推导

推导过程如下：