统计学-贾俊平（第四版）学习笔记

5. 概率与概率分布

5.1 概率的定义

（1) 概率的古典定义
如果某一随机试验的结果有限，而且各个结果出现的可能性相等，则某一事件A发生的概率为该事件所包含的基本事件个数m与样本空间所包含的基本事件个数n的比值：$P(A)=\frac{m}{n}$
古典概率的局限: 随机试验只有有限个可能结果范围。
(2) 概率的统计定义
相同条件下随机试验n次，某事件A出现m次（$m\le n$），$P(A)=\frac{m}{n}$，随着n增大，波动幅度减小，趋于稳定，该稳定之为A事件的概率。
概率统计定义局限：要求大量重复实验
(3) 主观概率的定义
概率是一个决策者根据个人对某个事件是否发生以及本人掌握的信息对该事件发生可能性的判断。

5.2 全概率&贝叶斯

互斥事件：$P(AUB)=P(A)+P(B)$
独立事件：$P(AB)=P(A)P(B)$
互斥事件一定是相互依赖（不独立）的，但相互依赖的事件不一定是互斥的

全概率公式：某一事件B的发生各种可能的原因$A_i(i=1,2,...,n)$,如果B是由原因$A_i$所引起的，则B发生的概率是$P(A_{i}B)(i=1,2,...,n)$。每一$A_i$发生都可能导致B发生的相应概率是$P(B|A_i)$
$$P(B)=\sum _{i=1}^{n}P(A_{i}B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$
贝叶斯公式：在条件概率的基础上寻找事件发生的原因
$$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{{\sum }_{i=j}^{n}P(A_j)P(B|A_j)}$$
观察到事件P(B)，学着导致A发生的每个原因的概率$P(A_i)$。$P(A_i)$先验概率，$P(A_i|B)$后验概率。后验概率是先验概率经过观测结果加以修正的概率。

5.3 离散随机变量&概率函数

X的所有可能值具有确定概率$P(x_1),P(x_2),...,P(x_n)$,其中$P(x_i)=P(X=x_i)$成为概率函数，则X成为P(X)的随机变量，P(X)成为随机变量X的概率函数。

(1)期望值（$E(X)$或$\mu$）：在离散型随机变量X的一切可能值得完备组中，各可能值$x_i$与其对应概率$p_i$得乘积之和。表示平均水平/集中程度。

(2)方差(${\sigma }^2$或$D(X)$)：每一个随机变量取值与期望值的离差平方之期望值。${\sigma }^2=D(X)=E[X-E(X){]}^2=E(X^2)-[E(X){]}^2$用来反映随机变量的离散程度。

(3)标准差($\sigma$):方差的平方根

(4) 离散系数$：V=\frac{\sigma }{E(X)}$

0-1分布：离散随机变量X只可能取0和1两个值，其概率分布为：
$P(X=1)=p$
$P(X=0)=1-p=q$
或 $P(x)=p^x{q}^{1-x},x=0,1$

均匀分布：$P(X=x_i)=p$ 对于所有可能取值

二项分布：包含n个相同的试验，每次试验只有两个可能的结果A,B。出现A的概率$p$每一次试验是相同的。出现B的概率$q$且$p+q=1$；试验相互独立；试验A/B可以计数，即实验结果对应一个离散随机变量。这种随机变量服从的概率分布为二项分布。具有上诉特征的n次重复独立试验为贝努里试验。
$$P(X=x)=C_n^x{p}^x{q}^{n-x},x=0,1,2,..,n$$
随机变量X服从二项分布，参数为$n,p$，记作$X\sim B(n,p)$
$C_n^x=\frac{n!}{x!(n-x)!}$
二项分布的期望值和方差分别为:$E(X)=np,D(X)=npq$

泊松分布：描述在一指定时间范围内或在指定的面积或提及之内某一事件出现的次数的分布。
$$P(X)=\frac{{\lambda }^x{e}^{-\lambda }}{x!},x=0,1,2,...$$
$\lambda$为给定的时间间隔内事件的平均数。
泊松分布的期望值和方差分别为:$E(X)=\lambda ,D(X)=\lambda$
例子：某企业每月发生的事故的次数；单位之间到柜台的顾客人数。
实际应用中，$p\le 0.25,n>20,np\le 5$，p很小，n大时，泊松分布近似二项分布

5.4 连续随机变量&概率密度函数

概率密度函数：用函数$f(x)$来表示连续型随机变量
分布函数定义为：
$$F(x)=P(X\le x)={\int }_{-\infty }^{x}f(t)dt$$
连续型随机变量的期望值月方差：
$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx=\mu$$
$$D(X)={\int }_{-\infty }^{+\infty }[x-E(x){]}^{2}dx={\sigma }^2$$

正态分布
连续型随机变量中，最重要的一种随机变量是具有钟形概率分布的随机变量。
特别差的和特别好的都在少数，多数处在中间。
概率密度为：
$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
记作$X\sim N(\mu ,{\sigma }^2)$
标准正态分布，$\mu =0,\sigma =1$
任何一个一般的正太分布可以通过线性变换转化为标准正态分布。$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$
$$\varphi (-x)=1-\varphi (x)=1-P(X\le x)=1-{\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$$
一般设$X\sim N(\mu ,{\sigma }^2)$
$$P(a\le X\le b)=\varphi (\frac{b-\mu }{\sigma })-\varphi (\frac{a-\mu }{\sigma })$$
3$\sigma$准则
$P(|X-\mu |\le 3\sigma )=0.9973$,可以认为X的值几乎一定落在$(\mu -3\sigma ,\mu +3\sigma )$内. 超过这个范围被认为异常值.

二项分布的正太分布近似
设随机变量$X\sim B(n,p)$,对任意x，${\lim }_{n->\infty }P(\frac{X-np}{\sqrt{np(1-p)}}\le x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$
对于二项随机变量X，n很大，p是定值,$\frac{X-np}{\sqrt{np(1-p)}}$近似标准正态分布。

6. 统计量及抽样分布

6.1 统计量（矩、偏度、峰度）

统计量：从总体X中抽取一个容量为n的样本，如果由此样本构造一个函数$T(X_1,..,X_n)$,不依赖于任何未知参数，则称函数$T(X_1,..,X_n)$是一个统计量。

概率论把数学期望及方差等概念用“矩”的概念来描述。经验分布函数$F_n(X)$的各阶矩反映了总体各阶矩的信息。

$m_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$成为样本k阶矩。

$v_k=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^k$成为样本k阶中心矩。

${\alpha }_3=\frac{\sqrt{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^3}{[{\sum }_{i=1}^n(X_i-\bar{X}{)}^2{]}^{3/2}}$为样本偏度。偏度反映了随机变量密度函数曲线在众数两边的对称偏斜性。如果$X\sim N(\mu ,{\sigma }^2)$,${\alpha }_3=0$

${\alpha }_4=\frac{n{\sum }_{i=1}^n(X_i-\bar{X}{)}^4}{[{\sum }_{i=1}^n(X_i-\bar{X}{)}^2{]}^2}-3$为样本峰度。峰度反映了密度函数曲线在众数附近“峰”的尖峭程度。如果$X\sim N(\mu ,{\sigma }^2)$,${\alpha }_4=0$

6.2 由正态分布导出的几个重要分布（${\chi }^2$，t分布，F分布）

由正态分布导出的几个重要分布：

1. ${\chi }^2$分布（卡方分布）
   设随机变量$X_1，X_2,...,X_n$相互独立，且$X_i$服从标准正态分布N(0,1)，则它们的平方和${\sum }_{i=1}^n{\chi }_i^2$服从自由度为n的${\chi }^2$分布。
   自由度：独立变量的个数，或二次型的秩。例如，$Y=x^2$是自由度为1的${\chi }^2$分布，rank(Y)=1。
   $E({\chi }^2)=n$,$D({\chi }^2)=2n$
   可加性，${\chi }_1^2\sim {\chi }^2(n_1)$,${\chi }_2^2\sim {\chi }^2(n_2)$ 独立：${\chi }_1^2+{\chi }_2^2\sim {\chi }^2(n_1+n_2)$
   
   自由度足够大，概率密度曲线趋于对称，$n\to +\infty$，${\chi }^2$的极限分布是正态分布。

2. t分布
   设随机变量$X\sim N(0,1),Y\sim {\chi }^2(n)$,且X与Y独立，则$t=\frac{X}{\sqrt{Y/n}}$，其分布称为t分布，记为t(n)
   
   当$n\ge 2，E(t)=0$
   当$n\ge 3，D(t)=\frac{n}{n-2}$
   t(n)密度函数的两侧都按t-(n+1)的速度趋向于0.
   自由度为1的分布称为柯西分布。自由度n增加t分布的密度函数越接近标准正态分布的密度函数。实际应用中$n\ge 30$ t分布和标准正态分布非常接近。
   与t分布有关的抽样分布：
   $X_1,..,X_n$正态分布$N\sim (\mu ,{\sigma }^2)$,$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$,$S^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$
   $$\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1)$$
   3.F分布
   定义随机变量Y和Z相互独立，且Y和Z服从自由度为m和n的${\chi }^2$分布，则随机变量X
   $$X=\frac{Y/m}{Z/n}=\frac{nY}{mZ}$$
   则X服从第一自由度为m，第二自由度为n的F分布，记为F(m,n)。
   
   $$E(X)=\frac{n}{n-2},n>2$$
   $$D(X)=\frac{2n^2(m+n-2)}{m(n-2)(n-4)},n>4$$
   如果随机变量X服从t(n)分布，则$X^2$服从F(1,n)的F分布。

6.3 样本均值分布&中心极限定理

样本均值的分布
当总体分布为正态分布$N(\mu ,{\sigma }^2)$时，$\bar{X}$的抽样分布仍为正太分布，$E(\bar{X})=\mu$,$D(\bar{X})=\frac{{\sigma }^2}{n}$，则$\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$
$\bar{X}$的期望值与总体均值相同，方差为总体方差的1/n。
中心极限定理
设从均值为$\mu$、方差为${\sigma }^2$（有限）的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值$\bar{X}$的抽样分布近似服从均值为$\mu$，方差为${\sigma }^2/n$的正态分布。
充分大：与总体分布形状有关。总体偏离正态越远，则要求n越大。实际应用中要求$n\ge 30$。
大样本小样本
并不以样本容量大小来区分。
小样本问题： 在样本容量固定的条件下进行的统计推断、问题分析，不管样本容量多大，都称为小样本问题。
大样本问题： 在样本容量$n\to \infty$的条件下进行的统计推断、问题分析则称为大样本问题。

一般统计学中$n\ge 30$为大样本，n<30为小样本只是一种经验说法。

6.4 样本比例的抽样分布

抽样比例：$\hat{p}=\frac{X}{n}$
总体比例：$\pi$
由二项分布的原理和渐近分布的理论可知，n充分大时，$\hat{p}$的分布可用正态分布逼近。
$$\hat{p}\sim N(\pi ,\frac{\pi (1-\pi )}{n})$$

6.5 两个样本平均值之差的分布

$\overline{X_1}$是独立地抽自总体$X_1\sim N({\mu }_1,{\sigma }_1^2)$的一个容量为$n_1$的样本的均值。
$\overline{X_2}$是独立地抽自总体$X_2\sim N({\mu }_2,{\sigma }_2^2)$的一个容量为$n_2$的样本的均值。
$$E(\overline{X_1}-\overline{X_2})=E(\overline{X_1})-E(\overline{X_2})={\mu }_1-{\mu }_2$$
$$D(\overline{X_1}-\overline{X_2})=D(\overline{X_1})+E(\overline{X_2})=\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}$$

• 如果两个总体均为正态分布，则$\overline{X_1}-\overline{X_2}$也为正态分布
• 若$n_1\ge 30,n_2\ge 30$,则$\overline{X_1}-\overline{X_2}$为正态分布，不管总体分布如何。

6.6 样本方差的分布

样本方差的分布：
设总体分布为$N(\mu ,{\sigma }^2)$的正太分布，则样本方差$S^2$的分布为：
$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
两个样本方差比的分布：
设$X_1,...,X_{n_1}$总体分布为$N({\mu }_1,{\sigma }_1^2)$的正太分布的一个样本。设$Y_1,...,Y_{n_2}$总体分布为$N({\mu }_2,{\sigma }_2^2)$的正太分布的一个样本。相互独立
$$\frac{S_x^2/S_y^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$
其中，$$S_x^2=\frac{1}{n_1-1}\sum _{i=1}^{n_1}(X_i-\bar{X}{)}^2$$

6.7 F分布、t分布、正态分布与卡方分布的联系与区别

• t分布vs正态分布：t分布与正态分布相比多了自由度参数，在小样本中，能更好的剔除异常值对于小样本的影响，从而能够准确地抓住数据的集中趋势和离散趋势。
• 卡方分布vs正态分布 ：卡方分布是k个服从正态分布的随机变量的平方和所服从的分布。其参数只有一个——自由度，当自由度很大时，${\chi }^2$近似服从正态分布。
• F分布是两个服从卡方分布的随机变量各自除以它们的自由度的商。
• 正态分布是以上所有分布的基础。

7. 参数估计

7.1 参数估计的基本原理

参数估计：用样本统计量去估计总体的参数。
在参数古籍中，用来估计总体参数的统计量的名称称为估计量$\hat{\theta }$。
根据一个具体的样本计算出来的估计量的数值称为估计值。
点估计：用样本统计量$\hat{\theta }$的某个取值直接作为总体参数$\theta$的估计值。
区间估计：在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。
约有95%的样本均值会落在$\mu$的两个标准差的范围内=约有95%的样本均值所构造的两个标准差的区间回包括$\mu$
置信区间：由样本统计量所构造的总体的参数的估计区间。
置信水平：置信区间中包含总体参数真值的次数所占的比例。
100个样本构造的总体参数的100个置信区间，由95%的区间包含了总体参数的真值。

评估估计量的标准：

1. 无偏性：指估计量抽样分布的数学期望等于被估计的总体参数。$E(\hat{\theta })=\theta$,则称$\hat{\theta }$为$\theta$的无偏估计量。
2. 有效性：对同一总体参数的两个无偏估计量，由更小标准差的估计量更有效。
3. 一致性：随着样本量的增大，点估计量的值越来越接近被估计总体的参数。

7.2 一个总体参数的区间估计

如何用样本统计量来构造一个总体参数的置信区间？
总体均值的区间估计

1. 条件：（正态总体、方差已知）/（非正态总体、大样本）
   分布：样本均值$\bar{x}$的抽样分布服从$N(\mu ,{\sigma }^2/n)$
   置信区间：在$1-\alpha$置信水平下的置信区间:$\bar{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$
   其中$z_{\alpha /2}$为标准正态分布上右侧面积为$\alpha /2$时的z值，$z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$是估计误差。
   若${\sigma }^2$未知，只要是在大样本条件下，可以用样本方差$s^2$代替。

2. 条件：正态总体、方差未知、小样本
   分布：样本均值经过标准化后的随机变量服从自由度为n-1的t分布，$\frac{\bar{x}-\mu }{s/\sqrt{n}}\sim t(n-1)$
   置信区间：在$1-\alpha$置信水平下的置信区间:$\bar{x}\pm t_{\alpha /2}\frac{s}{\sqrt{n}}$
   其中$t_{\alpha /2}$是自由度为n-1，t分布上右侧面积为$\alpha /2$时的t值
   

总体比例的区间估计
样本比例p,总体比例$\pi$，样本足够大时，服从正态分布。$E(p)=\pi ,{\sigma }_p^2=\frac{\pi (1-\pi )}{n}$
$1-\alpha$置信水平下的置信区间：$p\pm z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$
因为$\pi$未知，用p代替：$p\pm z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}}$

总体方差的区间估计
抽样方差服从自由度为n-1的${\chi }^2$分布

总结：

Z分布就是正态分布。

7.3 两个总体参数的区间估计

两个总体均值之差的区间估计
（1) 独立样本，大样本:
$(\overline{x_1}-\overline{x_2})$服从正态分布，
$E(\overline{x_1}-\overline{x_2})={\mu }_1-{\mu }_2$, $D(\overline{x_1}-\overline{x_2})=\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}$
置信区间：$(\overline{x_1}-\overline{x_2})\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}$
当总体方差未知时，样本方差替代：$(\overline{x_1}-\overline{x_2})\pm z_{\alpha /2}\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}$

（2) 正态分布，独立样本，小样本:
总体方差已知：$(\overline{x_1}-\overline{x_2})\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}$
总体方差未知但相等：总体方差的合并估计量$s_p^2=\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}$，
服从t分布，$\frac{(\overline{x_1}-\overline{x_2})-({\mu }_1-{\mu }_2)}{s_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$，
置信区间$(\overline{x_1}-\overline{x_2})\pm t_{\alpha /2}(n_1+n_2-2)\sqrt{\frac{s_p^2}{n_1}+\frac{s_p^2}{n_2}}$
总体方差未知且不相等：$(\overline{x_1}-\overline{x_2})$经标准化后服从自由度为v的t分布，
自由度v，$v=\frac{(\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}{)}^2}{\frac{(s_1^2/n_1{)}^2}{n_1-1}+\frac{(s_2^2/n_2{)}^2}{n_2-1}}$

两个总体比例之差的区间估计
正态分布
$E(\overline{p_1}-\overline{p_2})={\pi }_1-{\pi }_2$, $D(\overline{p_1}-\overline{p_2})=\frac{{\pi }_1(1-{\pi }_1)}{n_1}+\frac{{\pi }_2(1-{\pi }_2)}{n_2}$
置信区间：$(p_1-p_2)\pm z_{\alpha /2}\sqrt{\frac{{\pi }_1(1-{\pi }_1)}{n_1}+\frac{{\pi }_2(1-{\pi }_2)}{n_2}}$

两个总体方差比的区间估计
$F(n_1-1,n_2-1)$

7.4 样本量的确定

估计总体均值时的样本量
令E代表所希望达到的标准误差，$E=z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$
则样本量：$n=\frac{(z_{\alpha /2}{)}^2{\sigma }^2}{E^2}$
估计总体比例时的样本量
$E=z_{\alpha /2}\frac{\pi (1-\pi )}{\sqrt{n}}$
则样本量：$n=\frac{(z_{\alpha /2}{)}^2\pi (1-\pi )}{E^2}$

8 假设检验

8.1 假设检验的基本问题

参数估计和假设检验都是利用样本对总体进行某种推断，推断的角度不同。
原假设（零假设）$H_0$
备择假设$H_1$
原假设和备择假设互斥。假设检验是围绕着原假设是否成立而展开的。
两类错误：
一类错误：原假设$H_0$为真却被我们拒绝，犯这种错误的概率用$\alpha$表示，也称$\alpha$错误或弃真错误；
二类错误：原假设为伪我们却没有拒绝，犯这种错误的概率用$\beta$表示，也称$\beta$错误或取伪错误；
控制第一类错误的原因：原假设常常是明确的，备择假设是模糊的
进行假设检验利用的是小概率原理：值发生概率很小的随机事件在一次试验中是几乎不可能发生的。
如果原假设成立，那么在一次实验中z统计量落入两侧拒绝域的概率只有0.05，这个概率是很小的。这个情况出现则拒绝原假设，选择备择假设。

利用P值进行决策
意义:0.05是一个通用的风险概率，这是用域表示的弱点，但根据不同的样本结果进行决策，面临的风险事实上是有差别的，为了精确的反映决策的风险度，可以利用P值决策。
定义：P值就是当原假设为真时所得到的样本观察结果或者更极端结果出现的概率。P值越小，拒绝原假设的理由就更充分。
P值大小取决于三个因素：1.样本数据与原假设之间的差异；2.样本量；3.被假设参数的总体分布。
P值长处：反映了观察到的实际数据与原假设之间不一致的概率值。双侧检验中$P<\alpha /2$拒绝原假设。P值本身就代表了显著性水平。

单侧检验
左侧检验：关注容忍的下限，$H_0\ge \mu$
右侧检验：确定拒绝的上限临界点，$H_0\le \mu$

8.2 一个总体参数的检验

统计量：z统计量，t统计量，${\chi }^2$统计量
z统计量，t统计量常用于均值和比例的检验。
${\chi }^2$统计量用于方差的检验。
$z=\frac{\bar{x}-{\mu }_0}{\sigma /\sqrt{n}}$
$t=\frac{\bar{x}-{\mu }_0}{s/\sqrt{n}}$

显著性水平：$\alpha$当原假设正确是却被拒绝的概率或风险。

一个小样本，$\sigma$已知的单侧检验的例子：


总体方差检验
由于$s^2=\frac{\sum (x_i-\bar{x}{)}^2}{n-1}$
$\sum (x_i-\bar{x}{)}^2=(n-1)s^2$
$\frac{\sum (x_i-\bar{x}{)}^2}{{\sigma }^2}=\frac{(n-1)s^2}{{\sigma }^2}$ 服从${\chi }^2$分布
则${\chi }^2=\frac{(n-1)s^2}{{\sigma }^2}$
总体方差检验的例子：

两个总体方差比的检验：

接受备择假设意味着原假设错误，没有拒绝原假设并不能表明备择假设一定是错误的。