机器学习总结(三)：矩估计

鉴于后续机器学习课程中多次提到参数估计的概念，为了避免囫囵吞枣的理解某些知识点，决定对概率统计的这部分知识点进行简要总结，这篇博客主要涉及的是点估计中的矩估计知识点，后续的博客将总结点估计中其他两个比较常见的方式，极大似然估计以及最小二乘法。

基础概念

为什么要出现估计呢？

因为在统计学中，所要观测的数据量往往都比较大，我们不可能将所有数据全部都进行统计，一种可行的方式就是从这些数据量中抽取一部分数据，这时候便用到了估计的知识，用抽取出来的样本的情况来估计总体的情况。

参数估计的概念

参数估计指的是根据从总体中抽取出来的样本来估计总体分布中包含的未知参数的方法，分为点估计和区间估计两种。

点估计的概念

依据从总体中抽取出来的样本来估计总体分布中的未知参数，点估计具体分为：矩估计、极大似然估计(MLE)以及最小二乘法。

区间估计的概念

依据抽取出来的样本，根据一定的准确度和精确度要求，构造适当的区间作为对总体分布中的未知参数的真值所在范围的估计，比如人们常说的百分之多少把某个数据控制在某个范围内就是区间估计最通俗的表述。

大数定律

矩估计的理论依据就是基于大数定律的，大数定律语言化的表述为：当总体的k阶矩存在时，样本的k阶矩依概率收敛于总体的k阶矩，即当抽取的样本数量n充分大的时候，样本矩将约等于总体矩。

---

矩估计

矩的概念

详情见附加笔记第(1)点

样本矩、样本均值、样本方差的概念

详情见附加笔记第(2)点

矩估计实现原理

矩估计的原理总结来讲为：令总体矩的k阶矩分别等于样本的k阶矩即可，至于到底会涉及到k是多大就要看你要估计的总体中包含几个未知参数了，包含几个k就应该是几。

通俗的讲，为什么k阶样本矩分别等于k阶总体矩就能算出总体的参数，原因在于，样本中的期望和方差是我们可以直观计算出来的常数，而总体的期望和方差是带有未知参数的，两者分别相等能够联立出等式计算出未知参数。

一个简单的例子

详情见附加笔记第(3)点

关于样本均值、样本方差、总体均值、总体方差的符号说明

详情见附加笔记第(4)点

矩估计的优缺点

优点：在不清楚总体分布具体属于什么分布的情况下，只需要根据均值和方差进行估计即可。

缺点：如果在总体分布已知的情况下，并不能很好的使用对应分布类型的信息，因为矩估计根本就不看重总体分布到底属于那种类型。

---

关于样本方差公式中除以n-1而不是n的思考

这样做的目的纯粹是为了保证能够无偏估计参数

无偏估计的概念

用样本统计量来估计总体参数时的一种无偏判断，如果估计量的数学期望等于被估参数的真实值，则称此估计量为被估参数的无偏估计。

对样本方差中除以n-1原因的探讨

详情见附加笔记第(5)点

附加笔记

参考文献

• http://blog.csdn.net/liuyuemaicha/article/details/52497512
• http://www.cnblogs.com/tangchong/p/3157710.html
• http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html
• https://wenku.baidu.com/view/8ef4d699dd3383c4bb4cd2c8.html
• https://www.zhihu.com/question/23340486
• https://www.zhihu.com/question/38185998
• https://www.zhihu.com/question/20099757/answer/26586088