经验分布函数理解

0 废话前言

在阅读统计学习方法时，遇到经验分布，对于数学渣渣来说，有必要去深究一下，然后发现是如此的简单。

1 正文

简介（数学语言）

        经验分布函数是与样本经验测度相关的分布函数。 该分布函数是在n个数据点中的每一个上都跳跃1 / n的阶梯函数。 其在测量变量的任何指定值处的值是小于或等于指定值的测量变量的观测值的数。

        经验分布函数是对样本中生成点的累积分布函数的估计。 根据Glivenko-Cantelli定理，它以概率1收敛到该基础分布。 同时也存在一些结果来量化经验分布函数与潜在的累积分布函数的收敛速度。

举个例子（说人话）

设 x1,x2,⋯,xn 是总体 X 的一组容量为 n 的样本观测值，将它们按从小到大的顺序重新排列为x1∗,x2∗,⋯,xn∗对于任意实数 x，定义函数

则称 Fn(x) 为总体 X 的经验分布函数。它还可以简记为 Fn(x)=1/n⋅ {x1,x2,⋯,xn}，其中 {x1,x2,⋯,xn} 表示 x1,x2,⋯,xn 中不大于 x 的个数。

另外一种常见的表示形式为 ：

因此，求经验分布函数

   

在一点x处的值，只要求出随机变量X的n个观测值

   

中小于或等于x的个数，再除以观测次数n即可。由此可见，

   

就是在n次重复独立实验中事件

   

出现的频率。

经验分布函数

   

的图形（如下图所示）是一条呈跳跃上升的。如果样本观测值

   

中没有重复的数值，则每一跳跃为1/n，若有重复L次的值，则按1/n的L倍跳跃上升。图中圆滑曲线是总体X的理论分布函数F(x)的图形。若把经验分布函数的图形连成折线，那么它实际就是累积频率直方图的上边。

这和概率分布函数的性质是一致的。

2 总结

经典统计推断主要的思想就是用样本来推断总体的状态，因为总体是未知的，我们只能通过多次试验的样本（即实际值）来推断总体。

经验分布函数是在这一思想下的一种方法，通过样本分布函数来估计总体的分布函数。

因此在最大熵模型中就运用经验分布。

x∗1,x∗2,⋯,x∗nx1∗,x2∗,⋯,xn∗