2.3优化（optim）

2.3 优化（optim）

2.3.1&2.3.2 最小二乘法（Least Squares）

加权最小二乘法（WLS(Weighted Least Squares)）：

一般最小二乘法将时间序列中的各项数据的重要性同等看待，而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说，近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法，对近期数据赋以较大的权数，对远期数据则赋以较小的权数。加权最小二乘法采用指数权数Wn-i，0

以直线模型   为例，其加权的剩余平方和为：

对上式分别求a和b的偏导数，得到标准方程组：

对上述方程解出a和b，就得到加权最小二乘法直线模型。应用加权最小二乘法，W的取值不同，解出的a，b也不同，因此W值取多少，需要经分析后确定。

迭代重加权最小二乘法（IRLS(Iterative Reweighted Least Squares)）

IRLS用于解决这种目标函数的优化问题（实际上是用2范数来近似替代p范数，特殊的如1范数）。

可将其等价变形为加权的线性最小二乘问题：

其中W（t）可看成对角矩阵，每步的w可用下面的序列代替：

   

如果 p=1,则将w(t)换为这种形式：

有时为了保证分母不为零，加上了一个比较项：

 

返回主目录（Spark MLlib算法思想总结）