参数估计的均方误差（MSE），偏置（Bias）与方差（Variance）分解，无偏估计

写在前面

均方误差，偏置和方差都是统计学中非常重要的概念。

均方误差MSE

对于机器学习来说，MSE一般是计算两个东西的MSE，一个是参数估计的MSE，一个是模型预测的MSE。我主要关注的是参数估计的MSE。

定义

参数估计的MSE定义为$MSE=E_{\theta }[(\hat{\theta }-\theta {)}^2]$，其中$\theta$表示真值，$\hat{\theta }$表示预测值，$E_{\theta }$并不是表示在$\theta$的分布上求期望，而是关于似然函数的期望，即$E_{\theta }[(\hat{\theta }-\theta {)}^2]={\int }_x(\hat{\theta }-\theta {)}^{2}f(x;\theta )dx$
，可以理解为在所有观测值上求平均。

方差偏置分解

MSE可以进行分解：
$$\begin{gathered} MSE=E_{\theta }[(\hat{\theta }-\theta {)}^2]=E_{\theta }[{\hat{\theta }}^2+{\theta }^2-2\hat{\theta }\theta ] \\ =E_{\theta }[{\hat{\theta }}^2]-E_{\theta }[\hat{\theta }{]}^2+E_{\theta }[\hat{\theta }{]}^2+{\theta }^2-2\theta E_{\theta }[\hat{\theta }] \\ =V_{\theta }[\hat{\theta }]+(\theta -E_{\theta }[\hat{\theta }]{)}^2 \end{gathered}$$
定义估计的偏置（偏差）为：$bias=E_{\theta }[\hat{\theta }]-\theta$
则上式进一步写为：
$$MSE=V_{\theta }[\hat{\theta }]+bia{s}^2$$

如果利用蒙特卡洛积分估计MSE这个期望：
$$\begin{gathered} E_{\theta }[(\hat{\theta }-\theta {)}^2]={\int }_x(\hat{\theta }-\theta {)}^{2}f(x;\theta )dx \\ =\frac{1}{N}\sum _{i=1}^N({\hat{\theta }}_i-\theta {)}^2 \end{gathered}$$其中，${\hat{\theta }}_i$是由第$i$个数据估计得来。很多时候下，做机器学习的时候，我们都用这个均方误差来作为优化的目标。

无偏估计

当$bias$为0的时候，该估计就是参数的无偏估计。
有时候，虽然估计是有偏的，但是当数据愈来愈多的时候，参数的估计能够依概率收敛到真实值上，称为相合：$$\hat{\theta }\to \theta$$

最小二乘估计（OLS）的MSE

模型为：$$y=X\theta +ϵ$$
多元最小二乘估计(多元高斯噪声最大似然估计)的解为：$\hat{\theta }=(X^{T}X{)}^{-1}{X}^{T}y$
偏差为：$$\begin{gathered} E[(X^{T}X{)}^{-1}{X}^{T}y]-\theta \\ =(X^{T}X{)}^{-1}{X}^{T}E[y]-\theta \\ =(X^{T}X{)}^{-1}{X}^{T}X\theta -\theta \\ =\theta -\theta =0 \end{gathered}$$
若假设噪声的方差是${\sigma }^{2}I$,则估计量的方差是：
$$\begin{gathered} V_{\theta }[(X^{T}X{)}^{-1}{X}^{T}y]=(X^{T}X{)}^{-1}{X}^T)V_{\theta }[y](X^{T}X{)}^{-1}{X}^T{)}^T \\ ={\sigma }^2(X^{T}X{)}^{-1} \end{gathered}$$

进一步，由方差-偏置分解可得$$MSE=0+trace({\sigma }^2(X^{T}X{)}^{-1})=trace({\sigma }^2(X^{T}X{)}^{-1})$$
这里使用trace是因为多元情形下方差是矩阵。