统计机器学习导论第七章读书笔记

 今天主要写的是第七章，第七章的主要内容是独立随机变量的求和的一些性质。

 本节的主要内容包括独立随机变量的求和的一些性质以及独立同分布在样本个数趋向于无穷的一些表现。

7.1 卷积

 首先介绍的是卷积公式，可以利用卷积公式计算两个独立的概率分布的和所满足的概率分布。比较简单易懂。对于连续性的概率分布，假设$x\sim f(x)$,$y\sim g(y)$,则对于$z=x+y$,$p(z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{z-x}g(y)f(x)dydx={\int }_{-\infty }^{+\infty }g(y)f(z-y)dy$

7.2 再生性

 再生性指的是如果两个服从同一族的概率分布其卷积之后的结果依然符合这一族概率分布那么我们就可以称这族概率分布具有再生性。举个例子，对于正态分布$N({\mu }_x,{\sigma }_x)$,$N({\mu }_y,{\sigma }_y)$其和满足一个$N({\mu }_{x+y},{\sigma }_{x+y})$的分布，我们就可以将正态分布看作一个具有再生性的分布。
 能够快速验证一个分布是否具有再生性的方法是利用母函数来进行验证：

这是因为母函数有一个重要的性质如上图：两个独立分布的和的母函数等于他们各自母函数的积。
这是因为对于两个随机变量，他们和的母函数$M(x+y)=E{e}^{it({\xi }_1+{\xi }_2)}=E[e^{it{\xi }_1}+e^{it{\xi }_2}]$由此得到上述结论。
常见的具有再生性的概率分布函数：

7.3 大数定律

 本节主要讲了大数定律和弱大数定律。
大数定律：


概括一下，大数定律大致说的是，对于n个独立同分布的样本，他们的均值$\bar{x}$对应的数学期望和方差：

弱大数定律：


弱大数定律实际上说的是对于具有相同数学期望的一组样本，他们的平均值的期望在这组样本的数量趋向于无穷的时候趋向于他们的公共数学期望。
大数定律的证明需要用到切比雪夫等概率不等式，我们在下一节学习了相应内容后补充证明。
大数定律的意义我觉得很多时候是给了根据样本估计均值，方差，提供了理论依据。

6.4 中心极限定理

中心极限定理是说对于一组均值为$\mu$，方差有限为$\sigma$的样本，当样本数量趋向于无穷时，$z=\frac{\bar{x}-\mu }{\sigma /\sqrt{n}}$近似服从一个标准正态分布。
作者在这一章用母函数的方法证明了$z=\frac{\bar{x}-\mu }{\sigma /\sqrt{n}}$是服从一个标准正态分布的，证明过程如下：