解析法求线性回归的最小二乘估计

我们希望学习一个最优的线性回归的模型参数 $ww$，使用经验风险最小化（也叫最小二乘法）来进行参数估计

有两种方法可以求解参数：解析法和数值优化法，在此我们只描述解析法的求解

风险函数：

$R(ww)=\frac{1}{2}{\sum }_{n=1}^N({yy}^{(n)}-{ww}^T{xx}^{(n)}{)}^2$

$=\frac{1}{2}||yy-{XX}^{T}ww|{|}^2$

$=\frac{1}{2}(yy-{XX}^{T}ww{)}^T(yy-{XX}^{T}ww)$

对风险函数求微分：

$dR(ww)=-\frac{1}{2}({XX}^{T}dww{)}^T(yy-{XX}^{T}ww)-\frac{1}{2}(yy-{XX}^{T}ww{)}^T({XX}^{T}dww)$

$=-(yy-{XX}^{T}ww{)}^T{XX}^{T}dww$

又因为：

$$dR(ww)=\frac{\delta R(ww{)}^T}{\delta ww}dww$$

所以可以得到风险函数的导数：

$$\frac{\delta R(ww)}{\delta ww}=-XX(yy-{XX}^{T}ww)$$

令：

$$\frac{\delta R(ww)}{\delta ww}=0$$

解得：

$${ww}^{\ast }=({XXXX}^T{)}^{-1}XXyy$$