理解期望、方差常见公式

先从基本概念讲起。

期望

对于一个随机变量，它在取不同值时的概率用函数表示。比如色子的点数是一个随机变量，它为1的概率可以表达成，这与我们代数中的函数有点不同，代数中的函数是输入一个确切的数，而这里不是。我甚至可以用来表示投硬币为正面的概率。不过，本文其余部分都要求概率函数的输入值是数字。
期望表示随机变量的中心位置。例如你投色子很多次，最后计算的点数平均值应该是所有点数的均值，因为出现每种点数的概率相同。如果概率不同，则需要用概率加权，于是我们的期望公式就是：

它表示把每一种可能的输出的值乘以其概率后求和。

性质1: 期望的线性关系

对于两个相互独立的随机变量，我们有：

这个就不做证明了。有2个色子各自投掷，两者的期望都是，那么问两个色子之和的期望，显然是。这是可以直观认知的。用表示一个常数，它只是缩放每一个随机变量的值而已，进一步推广我们有：

性质2: 样本均值的期望

假定有一个随机变量的期望值和方差分别是。现在对这个数据集进行随机抽样（有放回的抽样，因为我需要保证整体的分布是不变的），抽到的样本一个一个的数据用表示，现在试求的期望。
根据样本均值的定义我们有：

根据性质1的推论：

由于每个所属的分布和是一样的。两者都是有放回地随机抽一个，因此：

我们的结论是：有放回的随机抽样的样本均值和总体均值的期望是一致的。

性质3: 期望的乘积关系

对于两个相互独立的随机变量，我们有：

这里给一个比较容易理解的说明，而不是证明：
首先，令，。于是有：

仔细观察可以发现，根据乘法结合律我们得到了与之间的所有组合，如等。
由于是两个独立随机变量，因此两者之积的概率满足。我们得到了两者乘积的每一个可能值，以及它们对应的概率，全部加起来就是期望的定义。

方差

方差用于表示数据的分散程度。数据波动越大，方差就越大。定义如下：

性质1

如果随机变量变成会如何（为常数）？显然它只是最后输出的值改变了倍数，但是每个输出的值的概率是一样的，即。但是，均值会放大倍。于是上式变成：

性质2

如果随机变量变成呢？其实也就是减去一个常数（总体的期望）再平方。想象色子的点数分别减3.5再平方，变成，然而每个新的点数出现的概率还是不变，所以。如果我们求这个新变量的期望：

没错，这正是方差的公式。这个式子可以认为是方差的第二种定义，它和第一种定义是等价的。
令，再重复一遍公式：

性质3

证明之前的准备：

视为一个常数：
概率之和恒为1：

证明：
根据定义二有：
$\begin{aligned} Var(x)&=E((x-E(x))^2) \\ &=E(x^2-2xE(x)+E(x)^2)\\ &=E(x^2)-E(2xE(x))+E(E(x)^2)\\ &=E(x^2)-\sum 2E(x)xf(x)+\sum E(x)^2f(x)\\ &=E(x^2)-2E(x)^2+E(x)^2\sum f(x)\\ &=E(x^2)-2E(x)^2+E(x)^2\\ &=E(x^2)-E(x)^2\\ \end{aligned}$
这个可以视为方差的第三个定义式。记忆口诀：“平方内减外”。

性质4

如果是独立的随机变量，那么。

证明：
根据方差的性质3和期望的性质3有：

推广得：如果是一组独立的随机变量，则。证明和上面基本类似，从略。

性质5: 样本均值的方差

假定有一个随机变量的期望值和方差分别是。现在对这个数据集进行随机抽样（有放回的抽样，因为我需要保证整体的分布是不变的），抽到的样本一个一个的数据用表示，现在试求的方差。
根据样本均值的定义我们有：

根据方差的性质1和性质4有：

由于单个的和是等价的，因此有：

也就是说，样本均值的方差是小于总体的方差的，并且会随着抽样次数增大而减小。

标准差和标准误差

标准差 standard deviation 和 standard error 标准误差，两者都是用来表示数据的变异性，不同之处是前者是通过总体计算，后者是通过样本计算。所谓标准差就是总体的方差的算术平方根，记为。
而一个容量为的样本的是标准差，叫做标准误差，其值为。（直接对方差的性质5的式子开方即可）

参考资料

https://newonlinecourses.science.psu.edu/stat414/node/167/