数理统计_笔记

目录

ch1 统计学前言

01 数据

	定类数据	定序数据	定量数据
分类	✔️	✔️	✔️
排序		✔️	✔️
间距			✔️
比值			✔️

02 统计指标

平均数

1. 算术平均数

   性质：各变量值与算术平均数的差值1范数和二范数最小

$$\text{ 算术平均数 }=\frac{\text{ 总体标志值总数 }}{\text{ 总体单位数 }}$$

2. 加权算术平均数

$$\bar{x}=\frac{x_1{f}_1+x_2{f}_2+\dots ..+x_n{f}_n}{f_1+f_2+\dots \dots +f_n}=\frac{\sum xf}{\sum f}$$

3. 调和平均数/倒数平均数：倒数算术平均数的倒数

$${\bar{x}}_H=\frac{1}{\frac{\frac{1}{x_1}{\mathrm{m}}_1+\frac{1}{x_2}{m}_2+\cdots +\frac{1}{x_n}{m}_n}{m_1+m_2+\cdots +m_n}}=\frac{m_1+m_2+\cdots +m_n}{\frac{1}{x_1}{m}_1+\frac{1}{x_2}{m}_2+\cdots +\frac{1}{x_n}{m}_n}=\frac{\sum m}{\sum \frac{1}{x}m}$$

4. 几何平均数

   应用：增长率

$${\bar{x}}_G=\sqrt[n]{x_1\cdot x_2\cdot \dots .\cdot \cdot x_n}=\sqrt[n]{\prod ^x}$$

5. 加权几何平均数

$${\bar{x}}_G=\sqrt[2f]{x_1^{f_1}\cdot x_2^{f_2}\cdots \cdot x_n^{f_n}}=\sqrt[2f]{\prod _1{x}^f}$$

中位数

$M_e$：总体中各单位标志值按照大小顺序排列，处于中间位置的数

众数

$M_o$：
$$\begin{gathered} Mo=L_m+\frac{{\Delta }_1}{{\Delta }_1+{\Delta }_2}\times d_m(\text{ 下限公式 }) \\ Mo=U_m-\frac{{\Delta }_2}{{\Delta }_1+{\Delta }_2}\times d_m\text{ (上限公式) }) \end{gathered}$$

03 采样

01简单随机抽样

01 要求

1. 要求总体个数有限
2. 从总体中逐个进行抽取
3. 不放回抽样
4. 总体中每一个个体被抽去的可能性相等

02 方法

1. 抽签法
2. 随机数法

03 样本条件

1. 独立性：相互独立
2. 代表性：每一个与总体有相同的分布

04 统计量

05 样本数字特征

1. 样本均值
   $$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

2. 样本方差
   $$S^2=\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2$$

3. 样本矩
   $$\begin{array}{ll}K\text{ 阶原点矩: }{\alpha }_{nk}=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k& (k=1,2,\dots ){\alpha }_{n1}=\bar{X}\\ K\text{ 阶中心矩: }{m}_{nk}=\frac{1}{n}{\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^k& (k=1,2,\cdots )m_{n2}=\frac{n-1}{n}{s}^2\end{array}$$
   一阶原点矩是样本均值

02分层抽样

差异明显

每层样本数量与每层

03 整体抽样

整群抽样： 将总体分成若干群，以群为抽样单位，对抽中的群所有基本单位调查

应用：质量检测

多阶段抽样：对抽中的群继续抽样

04 非随机的等距抽样

05系统抽样

04 概率的基本概念

1. 频率与概率

   频率

$$f_n(A)\triangleq n_A/n$$

2. Laplace概率

3. 概率的公理化定义

   非负性

   规范性

   可列可加性：对两两不相容事件

05 大数定律与中心极限定理

01 切比雪夫不等式

随机变量X的数学期望$EX=\mu$,方差$DX={\sigma }^2$，则对任意
$$P\{|X-\mu |\ge \epsilon \}\le \frac{{\sigma }^2}{{\epsilon }^2}\text{ 或 }P\{|X-\mu |<\epsilon \}\ge 1-\frac{{\sigma }^2}{{\epsilon }^2}$$

02相关性分析

相关系数
$$\begin{array}{l}r=\frac{{\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{\sqrt{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2{\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2}}\\ =\frac{{\sum }_{i=1}^n{x}_i{y}_i-n\bar{x}\bar{y}}{\sqrt{\left({\sum }_{i=1}^n{x}_i^2-n(\bar{x}{)}^2\right)\left({\sum }_{i=1}^n{y}_i^2-n(\bar{y}{)}^2\right)}}\end{array}$$
r > 0 正相关

r < 0 负相关

r的绝对值越接近1，表明两个变量的线形相关性越强

03 回归分析

04 区间估计

ch3 概率与抽样分布

条件概率

1. 定义

$$\mathrm{P}(\mathrm{A}\mid \mathrm{B})=\frac{P(AB)}{P(B)}$$

2. 乘法定理

$$\begin{gathered} P(AB)=P(A)P(A|B) \\ P(AB)=P(B)P(B|A) \end{gathered}$$

3. 事件独立性

相互独立：设A， B为两个事件，如果$P(AB)=P(A)P(B)$,则称事件A与事件B相互独立。

4. 全概率公式
   $$P(A)=P\left(B_1\right)P\left(A\mid B_1\right)+\cdots +P\left(B_n\right)P\left(A\mid B_n\right)$$

5. 贝叶斯公式
   $$P\left(B_i\mid A\right)=\frac{P\left(A{B}_i\right)}{P(A)}=\frac{P\left(B_i\right)P\left(A\mid B_i\right)}{{\sum }_{j=1}^{n}P\left(B_j\right)P\left(A\mid B_j\right)}$$

事件独立性

事件A、B独立的充要条件是
$$\begin{array}{l}P(A\mid B)=P(A),P(B)>0\\ P(B\mid A)=P(B),P(A)>0\end{array}$$
推倒：

$\mathbf{P}(AB)=P(A)P(B)$

$P(AB)=P(A\mid B)P(B)$

=>$P(A)P(B)=P(A\mid B)P(B)$

=>$P(A)=P(A\mid B)$

不相容性与独立性

结论：互不相容与相互独立不能同时独立。

证明：$A\cap B=\varphi ⟹P(AB)=0$

$P(A)\ne 0,P(B)\ne 0$

$P(AB)\ne P(A)P(B)$

so AB不独立

特例：$S和\varphi$

多个事件的独立

三个事件的独立

1. ABC 两两独立

$$\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(AC)=P(A)P(C\\ P(BC)=P(B)P(C)\end{array}$$

2. ABC 相互独立

$$\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(AC)=P(A)P(C)\\ P(BC)=P(B)P(C)\\ P(ABC)=P(A)P(B)P(C)\end{array}$$

n个事件的独立性
$$\begin{array}{l}\text{ 定义 设 }{A}_1,A_2,\dots ,A_n\text{ 为 }n\text{ 个事件,如果对于任意 }\\ \text{ 的 }k(1<k\le n),\text{ 和任意的 }1\le i_1\le i_2\le \dots \le i_k\le n\text{ 有等式 }\\ P\left(A_{i_1}{A}_{i_2}\dots A_{i_k}\right)=P\left(A_{i_1}\right)P\left(A_{i_2}\right)\dots P\left(A_{i_k}\right)\\ \text{ 则称 }{A}_1,A_2,\dots ,A_n\text{ 为相互独立的事件. }\end{array}$$

$$\begin{array}{l}\text{ 性质: }\\ \text{ (1)若事件 }{A}_1,A_2,\cdots ,A_n(n\ge 2)\text{ 相互独立, }\\ \text{ 则其中的任意 }k(2\le k\le n)\text{ 个事件也相互独立 }\\ \text{ (2) 若事件 }{A}_1,A_2,\cdots ,A_n(n\ge 2)\text{ 相互独立, }\\ \text{ 则将 }{A}_1,A_2,\cdots ,A_n(n\ge 2)\text{ 中任意多个 }\\ \text{ 事件换成其对立事件, 所得新的 }\mathbf{n}\text{ 个事件 }\\ \text{ 仍相互独立 }\\ \text{ (3) 若 }{A}_1,A_2,\cdots A_n\text{ 是相互独立的事件, 则 }\\ P\left(A_1\cup A_2\cup \cdots \cup A_n\right)=1-P\left(\overline{A_1\cup A_2\cup \cdots \cup A_n}\right)\\ =1-P\left(\overline{A_1}\overline{A_2}\cdots \overline{A_n}\right)=1-P\left(\overline{A_1}\right)P\left(\overline{A_2}\right)\cdots P\left(\overline{A_n}\right)\end{array}$$

小概率事件
$$特别的，如果有P\left(A_1\right)=P\left(A_2\right)=\cdots =P\left(A_n\right)=p$$

$$则有P\left(\bigcup _{i=1}^n{A}_i\right)=1-(1-p{)}^n$$

$$\text{ 当 }n\to \infty \text{ 时, }P\left(\begin{array}{lc}n& \\ {\bigcup }_{i=1}& A_i\end{array}\right)=1-(1-p{)}^n\to 1$$

结论：小概率事件虽然在一次实验中几乎不可能发生，但是迟早要发生

离散型

分布与数字特征

概率质量函数：离散型随机变量

概率密度函数：连续型随机变量

二项分布

$$\begin{array}{l}n\text{ 重Bernoulli 试验中, }X\text{ 是事件 }A\text{ 在 }n\text{ 次试 }\\ \text{ 验中发生的次数 },P(A)=p\text{,若 }\\ P_n(k)=P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,\cdots ,n\\ \text{ 则称 }X\text{ 服从参数为 }n,p\text{ 的二项分布, 记作 }\\ X\sim (n,p)\\ 0-1\text{ 分布是 }n=1\text{ 的二项分布 }\end{array}$$

二项分布中最可能出现的次数与推倒

若$P(X=k)\ge P(X=j),j=X$ 可取的一切值则称为k为最有可能出现的次数：
$$p_k=P(X=k)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,\cdots ,n$$

$$\begin{array}{l}\frac{p_{k-1}}{p_k}=\frac{(1-p)k}{p(n-k-1)}\le 1\\ \frac{p_k}{p_{k+1}}=\frac{(1-p)(k+1)}{p(n-k)}\ge 1\end{array}\}$$

$$⟹(n+1)p-1\le k\le (n+1)p$$

当 $(n+1)p=Z$时，在$k=(n+1)p$ 和$k=(n+1)p-1 $ 处取的最大值

当$(n+1)p\ne Z$时，在$k=[(n+1)p]$ 处的概率取得最大值

几何分布

$X\sim G(p)$
$$P(X=k)=p{q}^{k-1}$$
X表示贝努力实验中首次成功事件出现所要进行的试验次数

Poisson 分布

$X\sim (\lambda )$
$$\mathbf{P}\{\mathbf{X}=\mathbf{k}\}=\frac{{\lambda }^{\mathbf{k}}{\mathbf{e}}^{-\lambda }}{\mathbf{k}!},\mathbf{k}=0,1,2,\cdots$$

$$\begin{array}{c}\text{B}\left(n,p_n\right)\text{ 中, 如果 }\\ \lim n{p}_n=\lambda (\lambda >0\text{ 是常数）, 则成立 }\\ {\lim }_{n\to \infty }{C}_n^k{p}_n^k{\left(1-p_n\right)}^{n-k}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }(k=0,1,\cdots ).\end{array}$$

泊松定理

在二项分布$B(n,p_n)$中,如果$limn{p}_n=\lambda$则成立：
$$\underset{n\to \infty }{\lim }{C}_n^k{p}_n^k{\left(1-p_n\right)}^{n-k}=\frac{{\lambda }^2}{k!}{e}^{-\lambda }(k=0,1,\cdots )$$

连续型

分布函数

$$F(x)=P(X\le x)$$

性质：

1. 单调增
2. $F(-\infty )=0,F(+\infty )=1$
3. 右连续，即$F(x+0)=F(x)$

常用公式：

$\begin{array}{l}P(X\le b)=F(b)\\ P(a<X\le b)=F(b)-F(a)\\ P(X>b)=1-F(b)\\ P(X<b)=F(b-0)\end{array}$

概率密度

概率密度函数probability density function PDF

分布函数与概率密度函数的关系
$$F(x)={\int }_{-\infty }^{x}f(t)dt$$
$f(x)$就称为概率密度函数

性质：

1. $f(x)\ge 0$
2. ${\int }_{-\infty }^{+\infty }f(x)dx=1$
3. $F(x)$是连续函数
4. 若$f(x)$在x处连续，则$F^{{}^{\prime }}(x)=f(x)$
5. 连续型随机变量X在一个点上的取值概率恒为0
6. $P(X\in I)={\int }_{I}f(x)dx,I=(a,b)or(a,b],or[a,b)or[a,b]$

注意：一般的，同一个连续型随机变量X的概率密度函数可以有很多个，但它们只在有限个点和可数个点的取值不同。所以连续型随机变量X的概率密度函数"几乎处处"唯一的。

计算

1. 分布函数F(x)是f(x)的变上限积分函数

2. $F^{{}^{\prime }}(x)=f(x)$

3. ${\int }_{-\infty }^{+\infty }f(x)dx=1$

4. $P(a\le X\le b)=F(b)-F(a)={\int }_a^{b}f(x)dx$

5. 连续型随机变量X任取一实数的概率值为0

   $P(X=a)=0$
   $$P(a<X<b)=P(a<X\le b)=P(a\le X\le b)$$

数字特征

1. 数学期望

   定义：
   $$E(X)=x_1{p}_1+x_2{p}_2+\cdots +x_k{p}_k+\cdots$$
   性质：
   $$\begin{array}{l}\text{ (1) }E(aX+b)=aE(X)+b\\ \text{ (2) }E(aX)=aE(X)\\ \text{ (3) }E(X+b)=E(X)+b\\ \text{ (4) }E(b)=b\\ \text{ (5) }E(X+Y)=E(X)+E(Y)\\ \text{ (6) }E(f(\xi ))={\sum }_{k}f\left(x_k\right)P_K\end{array}$$

2. 方差

   定义
   $D(\xi )=E[\xi -E(\xi ){]}^2$

   性质
   $$\begin{array}{l}\text{ (1) }D(c)=0\\ \text{ (2) }D(k\xi )=k^{2}D(\xi )\\ \text{ (3) }D(\xi +b)=D(\xi )\\ (4)D(k\xi +b)=k^{2}D(\xi )\end{array}$$

正态分布

定义

标准正态分布

指数分布

均匀分布

多元随机变量

联合，边缘，条件

联合分布列

边缘分布列

条件分布列

独立与相关

独立性

条件独立

期望和方差

协方差协方差矩阵

随机变量的相关系数

多元正态分布

常用二维连续型分布

1. 均匀分布

2. 二元正态分布

3. 二次型

4. n元正态分布

   性质

相关系数

相关系数公式
$$R(X,Y)=E\left(\frac{X-E(X)}{\sigma (X)}\cdot \frac{Y-E(Y)}{\sigma (Y)}\right)$$

二维正态分布中X和Y的相关系数$R(X,Y)$
$$R(X,Y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y\sqrt{1-r^2}}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }\frac{\left(x-{\mu }_x\right)}{{\sigma }_x}\cdot \frac{\left(y-{\mu }_y\right)}{{\sigma }_y}{e}^{-u(x,y)}dxdy$$

$$u(x,y)=\frac{{\left(x-{\mu }_x\right)}^2}{2{\sigma }_x^2}+\frac{1}{2\left(1-r^2\right)}{\left[\frac{\left(y-{\mu }_y\right)}{{\sigma }_y}+\frac{r\left(x-{\mu }_x\right)}{{\sigma }_x}\right]}^2$$

统计量

$g(X_1, X_2, X_3, …,X_n) $ 不含未知参数

常用统计量

1. 样本均值：$\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

   观察值：$ \bar x = \frac{1}{n}\sum_{i=1}^nX_i$

2. 样本方差
   $$S^2=\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2=\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\right)$$

3. 样本标准差
   $$S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2}$$
   观察值：X->x

4. 样本k阶（原点）矩
   $$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2,\cdots$$
   观察值：X->x

5. 样本k阶中心距
   $$B_k=\frac{1}{n}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^k,k=2,3,\cdots$$

抽样分布

卡方分布

由正态分布衍生

$X_k^2={\sum }_{i=1}^k{Z_i}^2$

推倒

$Z_1：X\sim N(0,1)⟶X_1^2\sim Q_1$

$Z_2：X\sim N(0,1)⟶X_1^2+X_2^2\sim Q_2$
$$\begin{array}{l}\text{ (1)设 }X\sim N\left(\mu ,{\sigma }^2\right),\text{ 则 }z=\frac{X-\mu }{\sigma }\sim N(0,1)\\ \text{ (2)构造 }{Y}_i=z_i^2(i=1,2,\dots ,n)\text{ 则 }{Y}_i\text{ 服从自由度为 }1\text{ 的 }{\chi }^2\text{ 分布, }\\ \text{ 即 }{Y}_i\sim {\chi }^2(1),\sum Y_i\sim {\chi }^2(n)\\ \text{ (3)当总体 }X\sim N\left(\mu ,{\sigma }^2\right),\text{ 从中抽取容量为 }n\text{ 的样本, 则 }\\ \frac{{\sum }_{i=1}^n{\left(x_i-\bar{x}\right)}^2}{{\sigma }^2}=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)\end{array}$$

${\chi }^2分布\text{ 期望为 }E\left({\chi }^2\right)=n\text{, 方差为 }\mathrm{D}\left({\chi }^2\right)=2\mathrm{n}(\mathrm{n}\text{ 为自由度) }$

分位点

${\chi }^2分布的上\alpha 分位点$
$$P\left\{X\ge {\chi }_{\alpha }^2(n)\right\}=\alpha$$
则称${\chi }_{\alpha }^2(n)$为${\chi }^2(n)$分布的$上\alpha 分位点$

t分布

F分布

其他分布

Gamma分布

Beta分布

Fisher Z分布

指数结构

大数定律

由相本推断总体的依据

ch4参数估计

参数的点估计

矩估计

极大似然法

极大似然函数

设总体X的分布类型已知，但是含有参数$\theta$

设离散型总体X的概率分布为$p(x,\theta )$,则样本$(X_1,X_2,...X_n)$的联合概率密度函数称为似然函数
$$L(\theta )=f\left(x_1;\theta \right)f\left(x_2;\theta \right)\cdots f\left(x_n;\theta \right)=\prod _{i=1}^{n}f\left(x_i;\theta \right)$$
极大似然参数估计值

若$L(\theta )$ 在$\hat{\theta }=\hat{\theta }\left(x_1,x_2,\cdots ,x_n\right)$ 处取到极大值，则称$\hat{\theta }\left(x_1,x_2,\cdots ,x_n\right)$ 为$\theta$ 的极大似然估计值。

参数求法

令KaTeX parse error: Got function '\hskip' with no arguments as argument to '\text' at position 1: \̲h̲s̲k̲i̲p̲1em\relax

解得

估计量的评选标准

$$\begin{array}{l}\text{ 常用 }\\ \text{ 标准 }\end{array}\{\begin{array}{l}\text{ (1) 无偏性 (Unbiased Estimator) }\\ \text{ (2) 有效性 }\\ \text{ (3) 一致性(consistency) }\end{array}$$

无偏估计

参数等于均值
$$\begin{array}{c}\text{ 定义: 设 }\hat{\theta }\left(X_1,X_2,\dots ,X_n\right)\text{ 为 }\theta \in \Theta \text{ 的估计量, 若 }\\ E\left[\hat{\theta }\left(X_1,X_2,\dots ,X_n\right)\right]=\theta ,\forall \theta \in \Theta ,\text{ 则称 }\\ \hat{\theta }\left(X_1,X_2,\dots ,X_n\right)\text{ 为 }\theta \text{ 的无偏估计; 否则称为有偏的。 }\end{array}$$

有效性

方差更小
$$\begin{array}{l}\text{ 设 }{\hat{\theta }}_1={\hat{\theta }}_1\left(X_1,X_2,\dots ,X_n\right)\text{ 与 }{\hat{\theta }}_2={\theta }_2\left(X_1,X_2,\dots ,X_n\right)\text{ 都是 }\\ \theta \text{ 的无偏估计量, 若对 }\forall \theta \in \Theta \text{ 有 }D\left({\hat{\theta }}_1\right)\le D\left({\hat{\theta }}_2\right),\text{ 且至少有 }\\ \text{ 一个 }\theta \in \Theta \text{ 使不等式成立, 则称 }{\hat{\theta }}_1\text{ 比 }{\hat{\theta }}_2\text{ 有较高的效率, }\\ \text{ 简称 }{\hat{\theta }}_1\text{ 比 }{\hat{\theta }}_2\text{ 有效。 }\end{array}$$

一致性

一致估计量的意义在于:只要样本容量足够大， 就可以使一致估计量与参数真实值之间的差异大于 ε的概率足够地小，也就是估计量可以用任意接近 于1的概率把参数真实值估计到任意的精度。

这种 性质是针对样本容量$b\to +\infty$而言，对于一个固定的 样本容量 n，一致性是无意义的

区间估计

置信区间

1. 精度：区间长度
2. 置信度 $1-\alpha$

求置信区间的步骤：

方差已知时，均值的区间估计

方差未知时，均值的区间估计
$$T=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

$$S^2=\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2$$

对给定的置信度1-a，由t分布表查出

一致最小方差无偏估计

最小均方误差准则

$$MS{E}_{\theta }(\theta )=E(\hat{\theta }-\theta {)}^2$$

如果 $MS{E}_{\theta }(\theta )<+\infty$
$$\begin{array}{l}MS{E}_{\theta }(\theta )=={\mathrm{Var}}_{\theta }(\theta )+b^2(\theta ,\theta )\\ b(\theta ,\theta )=E_{\theta }(\theta -\theta )\end{array}$$

$$E{\left[g^{\ast }(\tilde{X})-g(\theta )\right]}^2\le E[\hat{g}(X)-g(\theta ){]}^2$$

一致最小方差无偏估计(UMVUE)

是在无偏估计类中，使均方误差达到最小的估计量

Cramer-Rao公式

CR正则分布族

单参数密度函数满足以下五个条件为CR正则分布族

1. 参数空间是直线上的某个开区间
2. 导数存在
3. $p(x,\theta )$不依赖于参数
4. 对概率密度函数p的积分与微分运算可以交换
5. 下列数学期望存在

$$0<I(\theta )=E_{\theta }{\left\{\frac{\partial }{\partial \theta }\ln p(X;\theta )\right\}}^2<+\infty$$

C- R不等式

定理：正则分布族无偏估计的下界，也称作C-R下界
$$D_{\theta }[\hat{g}(\tilde{X})]\ge \frac{{\left[g^{\prime }(\theta )\right]}^2}{nI(\theta )},\theta \in \Theta$$
证明：
$$\begin{array}{l}\frac{\partial }{\partial \theta }\ln p\left(x_1,\cdots ,x_n;\theta \right)={\sum }_{i=1}^n\frac{\partial }{\partial \theta }\ln p\left(x_i;\theta \right)\\ S(\tilde{X};\theta )=\frac{\partial }{\partial \theta }\ln p\left(X_1,\cdots ,X_n;\theta \right)\\ E_{\theta }\left\{\frac{\partial }{\partial \theta }\ln p\left(X_i;\theta \right)\right\}=\int \frac{\partial }{\partial \theta }\ln p\left(x_i,\theta \right)p\left(x_i,\theta \right)d{x}_i\\ =\int \frac{\partial }{\partial \theta }p\left(x_i,\theta \right)d{x}_i=\frac{d}{d\theta }\int p\left(x_i,\theta \right)d{x}_i=\frac{d}{d\theta }1=0\end{array}$$

$$\begin{array}{l}{E}_{\theta }\{S(X,\theta )\}={\sum }_{i=1}^n{E}_{\theta }\left\{\frac{\partial }{\partial \theta }\ln p\left(X_i,\theta \right)\right\}\\ D_{\theta }\{S(X,\theta )\}=D_{\theta }\left\{{\sum }_{i=1}^n\frac{\partial }{\partial \theta }\ln p\left(X_i,\theta \right)\right\}\\ ={\sum }_{i=1}^n{D}_{\theta }\left\{\frac{\partial }{\partial \theta }\ln p\left(X_i,\theta \right)\right\}\\ ={\sum }_{i=1}^n{E}_{\theta }{\left\{\frac{\partial }{\partial \theta }\ln p\left(X_i,\theta \right)\right\}}^2=nI(\theta )\end{array}$$

可以看到C-R不等式的右端与参数g(θ)的变化率的平方成正比, 与总体所在分布族的Fisher信息 量的n倍成反比.

有效估计

无偏估计的效率：
$$e_n=\frac{{\left[g^{\prime }(\theta )\right]}^2/nI(\theta )}{D_{\theta }(\hat{g}(X))}$$
$e_n=1$ 有效无偏估计
${\lim }_{n\to \infty }{e}_n=1$ 渐进有效（无偏）估计

结论：

有效估计一定是UMVUE,但很多 UMVUE不是有效估计,这是因为C-R下届偏小,在很多场合达不到.

等式成立的充要条件：
$$S(\tilde{X},\theta )-ES(\tilde{X},\theta )=t(\hat{g}(\tilde{X})-g(\theta ))$$

$$I(\theta )=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(x,\theta )\right]$$

推论：

1. 条件：求s，可表示为

$$\begin{array}{rl}S(\tilde{X},\theta )=& \frac{\partial }{\partial \theta }\ln f\left(x_1,x_2,\cdots x_n,\theta \right)=c(\theta )(\hat{g}(\tilde{X})-g(\theta ))\\ & E(\hat{g}(X))=g(\theta )\end{array}$$

2. 若上式成立
   $$I(\theta )=\frac{c(\theta )g^{\prime }(\theta )}{n}$$

判断方法：

1. 求I 主定理
2. 求S 用推论

例题

1. $X\sim B(1,p)$,求p的有效估计量
2. $X\sim \pi (1,\lambda )$,求$\lambda$的有效估计量
3. $X\sim N(\mu ,{\sigma }^2)$,求参数的有效估计量
4. $X\sim U(0,\theta )$,讨论参数的有效估计量

Ch5 贝叶斯估计

贝叶斯方法

1. 选择先验分布对参数的信念
2. 在给定参数情况下对x的信念
3. 得到数据后更新我们的信念，计算后验分布
4. 从后验分布中得到点估计和区间估计

贝叶斯公式

贝叶斯推理就是在不完全情报下， 对部分未知的状态用主观概率估计，然 后用贝叶斯公式对先验概率进行修正， 最后再利用修正概率做出最优决策。

贝叶斯决策理论方法是统计决策中 的一个基本方法，其基本思想是:

1、已知条件概率密度参数表达式和先验概率。

2、利用贝叶斯公式转换成后验概 率。

3、根据后验概率大小进行决策分
$$P(A_i|B)=\frac{P\left(B|A_i\right)P\left(A_i\right)}{{\sum }_{i=1}^{n}P\left(B|A_i\right)P\left(A_i\right)}$$

$$其中\sum _{i=1}^{n}P\left(A_i\right)=1\sum _{i=1}^{n}P\left(B|A_i\right)P\left(A_i\right)=P(B)$$

先验分布

对未知参数的先验信息用一个分布 形式来表示，此分布称为未知参数 的先验分布.

后验分布

在抽取样本之前，人们对未知参数有 个了解，即先验分布。抽取样本之后，由 于样本中包含未知参数的信息，而这些关 于未知参数新的信息可以帮助人们修正抽样之前的先验信息
$$q\left(x_1,x_2,\cdots ,x_n\right)=\prod _{i=1}^{n}p\left(x_i,\theta \right)$$
而样本值是在知道参数的先验分布的前提下得到的，因而上述分布可以改写为
$$q(x\mid \theta )=q\left(x_1,x_2,\cdots ,x_n\mid \theta \right)=\prod _{i=1}^{n}p\left(x_i\mid \theta \right)$$
又由于参数和样本x的联合分布可以表示为
$$\mathbf{f}(\mathbf{x},\theta )=\mathbf{q}(\mathbf{x}\mid \theta )\pi (\theta )=\mathbf{m}(\mathbf{x})\mathbf{h}(\theta \mid \mathbf{x})$$

$$⟹h(\theta \mid x)=\frac{q(x\mid \theta )\pi (\theta )}{m(x)},\left(m(x)={\int }_{\Theta }q(x\mid \theta )\pi (\theta )\mathbf{d}\theta \right)$$

可以根据数据量的增加一直修正参数

必考题：

为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元， 但从投资效果来看，顾问们提出两种不同的意见:

共轭先验分布

​ 样本X的分布为二项分布b(n，θ)时，假如θ的先验分布为β分布，则用贝叶斯估计算得的后验分布仍然是β分布，只是其中的参数不同。这样的先验分布(β分布)称为参数θ的共轭先验分布。

贝叶斯估计

使后验密度$\pi (\theta |x)$ 达到最大的值 ${\theta }_{MD}$ 称为最大后验估计;后验分布的中位数${\hat{\theta }}_{Me}$称为后验中位数估计;

后验分布的期望值 ${\hat{\theta }}_E$ 称为$\theta $ 的后验期望值估计，这三个估计都称为贝叶斯估计， 记为 ${\hat{\theta }}_B$。

必考题：

设一批产品的不合格率为  ,检查是一个一个进行,直到发现第一个不合格品为止,若X为发现第 一个不合格品时已检查的产品数,则X服从几何分布,其分布列为

ch6假设检验

原假设

备择假设

三种形式：

1. 双侧检验
2. 左侧检验
3. 右侧检验

步骤：

1. 根据样本观测结果计算得到的，并据以对原假设和备择假 设作出决策的某个样本统计量
2. 标准化检验统计量
3. 拒绝域和接受域的确定