最小二乘、加权最小二乘（WLS）、迭代加权最小二乘（迭代重加全最小二乘）（IRLS）

最小二乘、加权最小二乘（WLS）、迭代加权最小二乘（迭代重加全最小二乘）（IRLS）

• 最小二乘：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

$X=\left[\begin{array}{ccc}{x}_{11}& x_{12}& ...\\ x_{21}& x_{22}& ...\\ x_{31}& x_{32}& ...\\ ...& ...& x_{mn}\end{array}\right]$ $Y=\left[\begin{array}{c}{y}_1\\ ...\\ y_m\end{array}\right]$ $\theta =\left[\begin{array}{c}{\theta }_1\\ ...\\ {\theta }_n\end{array}\right]$
$X$中每一列为特征，每一行代表一个样本；$Y$为标签；$\theta$是参数
有优化问题：$$f(\theta )=\frac{1}{2}{\left|\left|X\theta -Y\right|\right|}^2$$
$$f(\theta )=\frac{1}{2}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}Y-Y^{T}X\theta +Y^{T}Y)$$
对函数$f(\theta )$关于参数$\theta$求偏导：$$\frac{\partial f(\theta ))}{\partial \theta }=X^{T}X\theta -X^{T}Y=0$$
$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
得到$\theta$的解析解。

• 加权最小二乘（WLS）：
  加权最小二乘是在普通最小二乘的基础上对每个样本引入权重，调整不同样本误差对损失函数的贡献率。

加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数的一种数学优化技术。
异方差性是相对于同方差而言的。所谓同方差，是为了保证回归参数估计量具有良好的统计性质，经典线性回归模型的一个重要假定：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。

$X$、$Y$、$\theta$定义如上，引入对角矩阵$W$
$$W=\left[\begin{array}{cccc}{w}_{11}& ...& 0& 0\\ 0& w_{22}& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& w_{mm}\end{array}\right]$$
损失函数变为：$f(\theta )=\frac{1}{2}{\Vert W(X\theta -Y)\Vert }^2$
$$f(\theta )=\frac{1}{2}(W{\theta }^T{X}^{T}A\theta -W{\theta }^T{A}^{T}Y-W{Y}^{T}A\theta +W{Y}^{T}Y)$$

对函数$f(\theta )$关于参数$\theta$求偏导：$$\frac{\partial f(\theta )}{\partial \theta }=-X^T{W}^{T}WY+X^T{W}^{T}WX\theta =0$$
$$\theta =(X^T{W}^{T}WX{)}^{-1}{X}^T{W}^{T}WY$$

• 迭代重加权最小二乘（IRLS）：

迭代重加权最小二乘（IRLS）与迭代加权最小二乘（IWLS）虽然名字不一样，但是内容确实一样，IRLS与IWLS指的都是同一种算法，（我在网上查了很多博客，发现许多人喜欢把IRLS叫做迭代加权最小二乘）
IRLS用来求解p范数的问题，将p范数问题转化为2范数求解。

目标函数：$f(\theta )={\Vert AX-Y\Vert }_p^p$，这里的${\Vert AX-Y\Vert }_p$是一个$p$范数。计算方式如：${\Vert X\Vert }_p=\sqrt[p]{x_1^p+x_2^p+...+x_m^p}$。
所以$f(\theta )=\underset{\theta }{\mathrm{argmin}}{\sum }_{i=1}^m(x_i\theta -y_i{)}^p$
$$f(\theta )=\underset{\theta }{\mathrm{argmin}}\sum _{i=1}^m(x_i\theta -y_i{)}^{p-2}(x_i\theta -y_i{)}^2$$
$$f(\theta )=\underset{\theta }{\mathrm{argmin}}\sum _{i=1}^m{w}_i^2(x_i\theta -y_i{)}^2$$
所以：
$$w_i^2=|x_i\theta -y_i{|}^{p-2}$$
$$w_i=|x_i\theta -y_i{|}^{\frac{p-2}{2}}$$
写成矩阵形式就是：
$$f(\theta )=\frac{1}{2}||W(X\theta -Y)|{|}^2=\frac{1}{2}{W}^2{\Vert X\theta -Y\Vert }^2$$
$${\theta }_{new}=(X^T{W}_{new}^T{W}_{new}X{)}^{-1}{X}^T{W}_{new}^T{W}_{new}Y$$
$$W_{new}=|X{\theta }_{old}-Y{|}^{\frac{p-2}{2}}$$
IRLS参考文献：Burrus C S. Iterative re-weighted least squares[J]. Comm.pure Appl.math, 2009, 44(6):1-9.