Minimum Mean Squared Error (MMSE)最小均方误差

原文链接： https://www.zhihu.com/question/27200164/answer/88360164

均方误差（Mean Squared Error, MSE）是衡量“平均误差”的一种较方便的方法。可以评价数据的变化程度。均方根误差是均方误差的算术平方根。

最小二乘（LS） 问题是这样一类优化问题，目标函数是若干项的平方和，每一项具有形式$a_i^{T}x-b_i$，具体形式如下：
$$minf(x)=\sum _{i=1}^k{\left(a_i^{T}x-b_i\right)}^2\text{\hspace{1em}(1)}$$

但是，我们在实际优化问题中经常看到的是另一种表示形式：
$$\sum _{i=1}^k{\left(y_i-\hat{f}(x_i,\theta )\right)}^2\text{\hspace{1em}(2)}$$

其中$y$是真值，$\hat{f}(x,\theta )$是估计值，式1和式2是一样的，只是用的符号不同，式1中的x对应式2中的$\theta$ ，即优化中要求的变量.

---

作为过渡概念，LS的一种更复杂也更灵活的变形：
加权最小二乘 根据实际问题考虑每个求和项的重要程度，即加权值w，如下：
$$\sum _{i=1}^k{w}_i{\left(a_i^{T}x-b_i\right)}^2\text{\hspace{1em}(3)}$$

---

均方误差（MSE）: 是一种加权最小二乘，它的权值是概率

最小二乘法（LS）：观测值与实际数据误差平方和最小，$min(y-f(x))$。

最小均方误差（MMSE）：误差平方和取均值再开方，在含噪数据中使预测模型有好的精度（概率最大模型），达到$f(x)=y$。

作者：知乎用户
链接：https://www.zhihu.com/question/27200164/answer/88360164
来源：知乎