概率论总结

统计分布

最近在看统计相关的知识，发现自己之前学习的知识不是很清晰。该博客主要是理一理自己的思路。加上一些重要的推理公式。
一、离散分布
主要介绍两个相关的分布：二项分布和泊松分布

1. 二项分布
   二项分布市常见的离散分布之一，其基本思想是伯努利试验，伯努利试验是一个有且仅有两种结果的实验，称随机变量$X$服从参数为$p$的分布
   $$X=\{\begin{array}{l}1(概率为p)\\ 0\le p\le 1\\ 0(概率为1-p)\end{array}$$
   如果进行$n$个完全相同的伯努利实验，随机变量$Y=n$个实验中成功实验的数目。则
   $$\mathbf{P}(\mathbf{Y}=\mathbf{y}|\mathbf{n},\mathbf{p})==\left(\begin{array}{c}n\\ \\ y\end{array}\right)p^y(1-p{)}^{n-y}$$
   $Y$被称作参数为$(n,p)$的二项随机变量。记为$b(n,p)$
2. 泊松分布
   给定时间内事物出现的次数就服从泊松分布。泊松分布的一个基本假设：在较短的时间段内，事物出现的概率与等待的时间成正比。
   泊松分布有唯一的参数$\lambda$,称取值为非负整数的随机变量$X$服从参数为$\lambda$的泊松分布，如果
   $$\mathbf{P}(\mathbf{X}=\mathbf{x}|\lambda )=\frac{e^{-\lambda }{\lambda }^x}{x!},x=0,1,......$$
3. 二者关系
   我们可以利用下面的递推公式快速计算泊松概率，它可由泊松分布概率质量（离散情况）函数推得：
   $$P(X|x)=\frac{\lambda }{x}P(X=x-1),x=1,2,...$$
   若$Y$服从参数为$(n,p)$的二项分布，则：
   $$P(Y=y)=\frac{n-y+1}{y}\frac{p}{1-p}P(Y=y-1)$$
   令$\lambda =np$，并且如果$p$很小，则有
   $$\frac{n-y+1}{y}\frac{p}{1-p}=\frac{np-p(y-1)}{y-yp}\approx \frac{\lambda }{y}$$
   这是因为$p$很小是项$p(y-1)$和$py$均可忽略。于是，
   $$P(Y=y)=\frac{\lambda }{y}P(Y=y-1)$$
   恰好泊松递推关系。为了完全确定近似关系，我们需要验证$P(X=0)\approx P(Y=0)$。因为$np=\lambda$，则有
   $$P(Y=0)=(1-p{)}^n=(1-\frac{np}{n}{)}^n=(1-\frac{\lambda }{n}{)}^n$$
   当n很大时，有如下近似
   $$P(Y=0)=(1-\frac{\lambda }{n}{)}^n\approx e^{-\lambda }=P(X=0)$$
   综上，我们证明了二项分布的泊松近似。主要运用在样本很大时的二项分布。
   二、连续分布
   \quad 连续分布主要从伽马分布开始，接着是贝塔分布。之所以先将这两个，是为了引出指数分布(伽马分布的特殊情况)和均匀分布（贝塔分布的特殊情况)。
4. 伽马分布
   伽马分布族是区间$[,+\infty )$上的，适用性很强的一类分布。如下积分定义了$\Gamma$函数：
   $$\Gamma (\alpha )={\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt$$
   利用分部积分法容易得到：$\Gamma (\alpha )=\alpha \Gamma (\alpha ),\alpha >0$且$\Gamma (1)=1;\Gamma (n)=(n-1)!$
   由于伽马函数恒大于0，于是根据概率密度函数的公理化要求，故
   $$f(t)=\frac{t^{\alpha -1}{e}^{-t}}{{\int }_0^{+\infty }{t}^{\alpha -1}{e}^{-t}dt},0<t<+\infty$$
   上式是概率密度函数。完整的伽马函数分布族实际上有两个参数，可由变量变换$X=\beta t$,其中$\beta$为大于0的常数。
   $$f(x|\alpha ,\beta )=\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{x}^{\alpha -1}{e}^{-x/\beta }，0<x<+\infty ,\alpha >0,\beta >0$$
   有的书也有如下定义$\lambda$ = $\frac{1}{\beta }$
   $$f(x|\alpha ,\lambda )=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x}$$
   数学期望：$EX=\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{\int }_0^{\infty }x{x}^{\alpha -1}{e}^{-x/\beta }=\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{\int }_0^{\infty }{x}^{\alpha }{e}^{-x/\beta }=\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}\Gamma (\alpha +1){\beta }^{\alpha +1}=\alpha \beta$
   方差：同样利用上式可以得到$VarX=\alpha {\beta }^2$
   与泊松分布的联系
   设X是服从参数为$(\alpha ,\beta )$的伽马随机变量，其中$\alpha$为整数，Y为服从参数$(x/\beta )$的泊松分布，则对任意x，都有
   $$P(X\le x)=P(Y\ge a)$$
   连续利用分部积分法即可证明上式：
   $$P(X\le x)=\frac{1}{(\alpha -1)!{\beta }^{\alpha }}{\int }_0^x{x}^{\alpha -1}{e}^{-x/\beta }dt$$
   与指数分布的联系
   当$\alpha =1$，就有伽马分布的另一个重要特例，概率密度函数为：
   $$f(x|\beta )=\frac{1}{\beta }{e}^{-x/\beta }，0<x<+\infty$$
   卡方分布的联系
   若$\alpha =p/2$，其中$p$为整数且$\beta =2$，则伽马概率密度函数为：
   $$f(x|p)=\frac{1}{\Gamma (p/2)2^{p/2}}{x}^{p/2-1}{e}^{-x/2}，0<x<\infty$$
5. 贝塔分布
   贝塔分布(0,1)区间上含两个参数的一类连续分布，参数为($\alpha ,\beta$)的贝塔分布概率密度函数为：
   $$f(x|\alpha ,\beta )=\frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}，0<x<1,\alpha >0,\beta >0$$
   其中,$B(\alpha ,\beta )={\int }_0^1{x}^{\alpha -1}(1-x{)}^{\beta -1};B(\alpha ,\beta )=\frac{\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}$。
   当$\alpha =\beta =1$时，贝塔分布退化为U(0,1)均匀分布
6. 正态分布
   正态分布是一个最常见的分布，必须要掌握的，这里主要补充一些重要公式和正态分布的高阶矩的计算问题。
7. 对数正态分布