概率论与数理统计(不间断、持续更新|20.6.14）

-/+9-*–@TOC

一、概率的基本概念

1.随机试验

随机试验的特点：
1.可以在相同的条件下重复地进行
2.每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果
3.进行一次试验之前不能确定哪一个结果会出现

2.样本空间、随机事件

事件的运算关系：

设：A,B,C为事件,则：
A∪B=B∪A
A∩B=B∩A
A∪(B∪C)=A∪B∪C
A∩(B∩C)=A∩B∩C
A∪(B∩C)=(A∪B)∩(A∪C)
A∩(B∪C)=(A∩B)∪(A∩C)
德摩根律： $\overline{A\bigcup B}=\overline{A}\bigcap \overline{B},\overline{A\bigcap B}=\overline{A}\bigcup \overline{B}$

3.频率与概率

频率的定义：在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数m，称为事件A发生的频率。
概率的定义：设E是随机试验，S是样本空间，对于E的每一个事件A赋予一个实数，记P(A)，称为事件A的概率，并满足：

1. 非负性：对于每个事件，都有 $P(A)\ge 0$
2. 规范性：必然事件S 有 $P(S)=1$
3. 可列可加性：$对于事件A_1,A_2...A_n两两互不容，即A_i{A}_j=\varnothing 有:P（A_1\bigcup A_2\bigcup ...A_n）=P(A_1)\bigcup P(A_2)\bigcup ...\bigcup A_n$
   概率的性质：
4. $P(\varnothing )=0$
5. $P(S)=1$
6. $可列可加性：对于事件A_1,A_2...A_n两两互不容，即A_i{A}_j=\varnothing 有:P（A_1\bigcup A_2\bigcup ...A_n）=P(A_1)\bigcup P(A_2)\bigcup ...\bigcup A_n$
7. $若A\subset B，P(B-A)=P(B)-P(A);P(B)\ge P(A)$
8. $P(\overline{A})=1-P(A)$
9. $(加法公式)：P(A\bigcup B)=P(A)+P(B)-P(AB);$
   推广，任意n个事件：
   $P(A_1\bigcup A_2\bigcup ...\bigcup A_n)={\sum }_{i=1}^{n}P(A_i)-{\sum }_{1\le i\le j\le n}P(A_i{A}_j)+{\sum }_{1\le i\le j\le k\le n}P(A_i{A}_j{A}_k)+...+(-1{)}^{n-1}p(A_1{A}_2{A}_3....A_n)$

加法公式：

$P(A\bigcup B)=P(A)+P(B)-P(AB);$
推广，任意n个事件：
$P(A_1\bigcup A_2\bigcup ...\bigcup A_n)={\sum }_{i=1}^{n}P(A_i)-{\sum }_{1\le i\le j\le n}P(A_i{A}_j)+{\sum }_{1\le i\le j\le k\le n}P(A_i{A}_j{A}_k)+...+(-1{)}^{n-1}p(A_1{A}_2{A}_3....A_n)$

4.古典概型（等可能概型）

1. 有限性：试验样本空间只包含有限个元素
2. 等可能性：试验中每个基本事件发生的可能性相等

排列（放回取样） $A_n^k$

无重复排列：n个元素取k个 $A_n^k=\frac{n!}{(n-k)!}$
予许重复排列：n个元素取k个 $n^k$

组合（无放回取样）$C_n^k$

n个元素取k个：$C_n^k=\frac{A_n^k}{k!}=\frac{n!}{(n-k)!k!}记作：{(}_k^n)$

5.条件概率

$P(B|A),事件A成立的条件下B成立的概率$
$P(A|B)=\frac{P(AB)}{P(B)}$
$P(AB)=P(B)P(A|B)=P(A)P(B|A)$

乘法定理：

$P(A_1{A}_2....A_n)=P(A_1)P(A_2|A_1)...P(A_{n-1}|A_1{A}_2...A_{n-2})P(A_n|A_1{A}_2...A_{n-1})$

全概率公式

$$若B_1\bigcup B_2\bigcup ...\bigcup B_n=S，B_i{B}_j=\varnothing$$
$$则：P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+...+P(B_n)P(A|B_n)$$

贝叶斯公式

$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)},i=1，2，...，n$$
$证：P(B_i|A)=\frac{P(B_{i}A)}{P(A)}=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$

6.独立性

定义
设A，B，C是两事件，若$P(AB)=P(A)P(B)$则称A,B相互独立。
$\left\{\begin{array}{c}\left\{\begin{array}{c}P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C)\end{array}\right\}\text{A}BC两两独立\\ P(ABC)=P(A)P(B)P(C)\end{array}\right\}\text{A}BC相互独立$

二、随机变量及分布

1.随机变量

设随机试验的样本空间$S=e,X=X(e)$是定义在样本空间S上的实值单值函数，称$X=X(e)$为随机变量。

2.离散型随机变量及分布

随机变量，他们可能取到的值是有限个或可列无限多个，称离散性随机变量
（个人理解：1.个数有限或可列；2.有明确对应的值）

（0-1）分布 X~B(1,p)

随机变量X只可能取0与1两个值，分布律为$P(X=k)=p^k(1-p{)}^{1-k},k=0,1$
记：X~B(1,p)

二项分布 X~B(n,p)

$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$
记：X~B(n,p)

泊松分布 X~$\pi (\lambda )$

随机变量X所有的可能取值的概率为
$P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!},k=1,2,...$
记：X~$\pi (\lambda )$
泊松定理
设$\lambda$>0是一个常数，n是任意正整数，设$n{p}_n=\lambda$，则对于任一固定的非负整数k，有：
$li{m}_{n\to \infty }{C}_n^k{p}_n^k(1-p{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$
所以当n很大，p很小时，$\lambda =np$
$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}\approx \frac{{\lambda }^k{e}^{-\lambda }}{k!}$

几何分布 X~G( p )

在伯努利试验中，设每次试验成功的概率均为p(0 $P(X=k)=q^{k-1}(1-q)$
记：X~G( p )
几何分布的无记忆性：
设X~G( p ),n,m为任意的两个正整数，则
$P(X>n+m|X>n)=P(X>m)$

超几何分布

N件产品，其中M件次品，今从中任取n件，则n件中的次品数X的分布列：
$P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n}$

3.随机变量的分布函数

对于非离散型随机变量X，由于其可能的取值不能一一列举出来，因而就不能像离散型随机变量那样可以用分布律来描述它。另外，我们通常所遇到的非离散型随机变量任取一指定的实数值的概率都等于0，因而我们转而去研究随机变量所取的值落在一个区间$(x_1,x_2]$的概率P。
定义：设X是一个随机变量，x是任意实数
$F(x)=P\{X\le x\}$
称为X的分布函数
因此，若已知X的分布函数，我们九就能得出X落在任意区间的概率，从这个意义上说，分布函数完整地秒速了随机变量的统计规律性。
分布函数的基本性质：

1. F(x）是一个不减函数。
2. $0\le F(x)\le 1且:$
   $F(-\infty )=li{m}_{x\to -\infty }F(x)=0$
   $F(+\infty )=li{m}_{x\to +\infty }F(x)=1$
3. F(x+0)=F(x)，即F(x)是右连续的。

4.连续性随机变量及概率密度

定义：设随机变量X的分布函数为F(x)，存在非负函数f(x)，对任意实数x，有
$F(x)={\int }_{-\infty }^{x}f(t)dt.$
称X为连续型随机变量，f(x)为X的概率密度
性质：

1. $f(x)\ge 0$.
2. ${\int }_{-\infty }^{\infty }f(x)dx=1.$
3. 对任意实数$x_1,x_2(x_1\le x_2),P\{x_1<X\le x_2\}=F(x_1)-F(x_1)={\int }_{x_1}^{x_2}f(x)dx.$
4. $\text{若}f(x)在点x处连续，则F^{\prime }(x)=f(x)$

推导：

1. 连续型随机变量的分布函数一定是连续的
2. $F(x)与f(x)可以相互推导$

均匀分布 X~U(a,b)

连续型随机变量X的概率密度为：
概率密度：$f(x)=\left\{\begin{array}{c}\frac{1}{(b-a)},a<x<b\\ 0,其他\end{array}\right\}$
$\to$分布函数：$F(x)=\left\{\begin{array}{c}0,x<a\\ \frac{x-a}{b-a},a\le x<b\\ 1,x\ge b\end{array}\right\}$

指数分布 X~E($\lambda$)

概率密度：$f(x)=\left\{\begin{array}{c}\frac{1}{\theta }{e}^{-x/\theta }，x>0\\ 0,其他\end{array}\right\}$
$其中\theta >0为常数$
$\to$分布函数：$F(x)=\left\{\begin{array}{c}1-e^{-\lambda x},x>0\\ 0,其他\end{array}\right\}$
无记忆性：
对于任意s，t>0有：$P\{X>s+t|X>s\}=P\{X>t\}$

正态分布 X~N($\mu ,{\sigma }^2$)

概率密度：$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\mu }^2}},-\infty <x<\infty$
$\mu$,$\sigma$为常数，且$\sigma >0$,称X服从参数为$\mu$,$\sigma$的正态分布或高斯分布
函数性质：

1. 关于$x=\mu$d对称
2. 当$x=\mu$时，取得最大值$\frac{1}{\sqrt{2\pi }\sigma }$
3. 当$x\to \pm \infty$时，$f(x)\to 0$
4. $x=\mu \pm \sigma$处出现拐点
5. $\mu$决定对称轴位置，当$\sigma$固定时，$\mu$改变，函数图形不变，只做平移
6. $\sigma$决定函数离散性，当$\mu$固定时，$\sigma$越大，离散情况越明显

标准正态分布 X~N(0,1)

概率密度：$\psi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$
分布函数：$\varphi (x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$
性质：$\psi (x)=\psi (-x),\varphi (x)=1-\varphi (-x)$
一般正态分布N($\mu$,${\sigma }^2$)的分布函数F(x)与标准正态分布的分布函数$\varphi (x)$的关系为：
$F(x)=\varphi (\frac{x-\mu }{\sigma })$
即：X~N($\mu$,${\sigma }^2$）则：$\frac{X-\mu }{\sigma }$ ~N(0,1)

5.随机变量的函数的分布

对随机变量的函数$Y=g(X)$，已知随机变量X的分布，如何求的随机变量Y的分布。
已知X的概率密度为$f_x(x)$,分布函数$F_x(x)$,$Y=g(X)$,求Y的概率密度$f_Y(y)$
分布函数法

1. $F_Y(y)=P(Y\le y)=P\{g(X)\le y\}\to 表示成X的分布函数$
2. 求导数：$f_Y(y)=F_Y^{\prime }(y)$

公式法
定理：设X的概率密度$f_x(x)$，y=g(X)为(a,b)上严格单调可微函数$(-\infty \le a\le b\le +\infty )$，则Y=g(X)的概率密度为：
$f_Y(y)=\left\{\begin{array}{c}{f}_x[h(y)]|h^{\prime }(y)|,A<y<B\\ 0,其他\end{array}\right\}$
其中h(y)为g(x)的反函数，A=min{g(a),g(b)}，B=max{g(a),g(b)}

三、多维随机变量及分布

1.二维随机变量

定义
设E是一个随机试验，他的样本空间是S，设X=X(e)和Y=Y(e)是在S上的随机变量，由他们构成的一个向量（X,Y）叫做二维随机变量，对于任意实数x，y，二元函数：
$F(x,y)=P\{(X\le x)\bigcap (Y\le y)\}记作P\{X\le x,Y\le y\}\to 二维随机变量的分布函数$
基本性质：

1. 对任意实数x，y有$0\le F(x,y)\le 1$;
2. $$\begin{gathered} F(x,y_1)\le f(x,y_2),y_1<y_2 \\ F(x_1,y)\le f(x_2,y),x_1<x_2 \\ \text{即F(x,y)对每个自变量都是单调不减} \end{gathered}$$
3. 对任意x，y有$$\begin{gathered} F(-\infty ,y)=li{m}_{x\to -\infty }F(x,y)=0; \\ F(x,-\infty )=li{m}_{y\to -\infty }F(x,y)=0; \\ F(-\infty ,-\infty )=li{m}_{x\to -\infty ,y\to -\infty }F(x,y)=0; \\ F(\infty ,\infty )=li{m}_{x\to \infty ,y\to \infty }F(x,y)=1 \end{gathered}$$
4. F(x,y)关于x右连续，关于y也右连续；
5. 对任意实数$$\begin{gathered} x_1\le x_2,y_1\le y_2,有 \\ F(x_2,y_2)-f(x_2,y_1)-F(x_1,y_2)+F(x_2,y_2)\ge 0 \end{gathered}$$

离散型的随机变量：二维随机变量（X,Y）全部可能取到的值是有限对或可列无限多对。
连续的二维随机变量：二维随机变量（X,Y）的分布函数F(x,y)存在非负可积函数$$\begin{gathered} f(x,y)使对于任意x.y有： \\ F(x,y)={\int }_{-\infty }^y{\int }_{-\infty }^{x}f(u,v)dudv \\ f(x,y)为二维随机变量的概率密度 \end{gathered}$$

2.边缘分布

设二维随机变量(X,Y)的分布函数F(x,y)，X和Y各自的分布函数$F_X(x)$和$F_Y(y)$为F(x,y)的边缘函数。即：
$$\begin{gathered} F_X(x)=P(X\le x)=P(X\le x,Y\le \infty ) \\ =F(x,\infty )=li{n}_{y\to \infty }F(x,y) \\ 同理：F_Y(y)=F(\infty ,y)=li{n}_{x\to \infty }F(x,y) \end{gathered}$$

二维均匀分布

二维随机变量（X,Y）具有概率密度:
$f(x,y)=\left\{\begin{array}{c}\frac{1}{S(G)},(x,y)\in G\\ 0,其他\end{array}\right\}$
称(X,Y)在G上服从均匀分布。
$f(x,y)\ge 0,且{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }f(x,y)dxdy=\int {\int }_G\frac{1}{S(G)}dxdy=1$

二维正态分布

概率密度：
$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp\left\{\begin{array}{c}-\frac{1}{2(1-{\rho }^2)}\ast [\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}]\end{array}\right\}$
其中$$\begin{gathered} {\mu }_1,{\mu }_2,{\sigma }_1>0,{\sigma }_2>0,|\rho |<1,都是常数 \\ 记：（X,Y） \end{gathered}$$~N$({\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho )$
二维正态分布的两个边缘分布都是一维正态分布：
X~N(${\mu }_1,{\sigma }_1^2$)
Y~N(${\mu }_2,{\sigma }_2^2$)

3.条件分布

4.相互独立的随机变量

定义：设F(x,y),F(x,),F(y)依次为（X,Y),X,Y的分布函数，对任意实数x,y成立。
$F(x,y)=F_X(x)F_Y(y)$
称X与Y相互独立。即联合概率密度等于边缘函数的乘积

5.两个随机变量的函数的分布

Z=X+Y的分布（积卷公式）

设(X,Y)是二维连续型随机变量，概率密度为$f(x,y)$，则Z=X+Y仍为连续型随机变量，其概率密度：
$f_{X+Y}(z)={\int }_{-\infty }^{\infty }f(z-y,y)dy$
或：$f_{X+Y}(z)={\int }_{-\infty }^{\infty }f(x,z-x)dx$
若X,Y相互独立，X,Y的边缘密度分别为$f_x(x)，f_y(y)$，Z的概率密度为：
$f_{X+Y}(z)={\int }_{-\infty }^{\infty }{f}_X(z-y)f_Y(y)dy$
或： $f_{X+Y}(z)={\int }_{-\infty }^{\infty }{f}_X(x)f_Y(z-x)dx$
称为fx,fy的积卷公式
$$\begin{gathered} X_i-N(\mu ,{\sigma }^2)(i=1,2,3...)且相互独立 \\ Z=X_1+X2+...+X_i \\ Z-N({\mu }_1+{\mu }_2+...+{\mu }_i,{\sigma }_1^2+{\sigma }_2^2+...+{\sigma }_i^2) \end{gathered}$$

Z=$\frac{Y}{X}$的分布

设（X,Y）是二维连续随机型变量，概率密度$f(x,y)$，则Z=$\frac{Y}{X}$、Z=XY仍为连续型随机变量，其概率密度：
$$\begin{gathered} f_{Y/X}(z)={\int }_{-\infty }^{\infty }|x|f(x,xz)dx \\ {f}_{XY}(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}f(x,\frac{z}{x})dx \end{gathered}$$
若X和Y相互独立，边缘密度为$f_X(x)，f_Y(y)$
$$\begin{gathered} f_{Y/X}(z)={\int }_{-\infty }^{\infty }|x|f_x(x)f_Y(xz)dx \\ {f}_{YX}(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}{f}_x(x)f_Y(\frac{z}{x})dx \end{gathered}$$

M=max{X,Y}及N=min{X,Y}的分布

设$X_1,X_2...X_n$是n个相互独立的随机变量，它们的分布函数分别为$F_{Xi}(x_i)(i=1,2...n)$,则M=max{X,Y}及N=min{X,Y}的分布函数为：
$$\begin{gathered} F_{max}(z)=F_{X_1}(z)F_{X_2}(z)...F_{X_n}(z) \\ {F}_{min=}(z)=1-[1-F_{X_1(z)}][1-F_{X_2(z)}]...[1-F_{X_n(z)}] \end{gathered}$$
当$X_1,X_2...X_n$相互独立且具有相同的分布函数F(x)时：
$$\begin{gathered} F_{max}(z)=[F(z){]}^n \\ {F}_{min}(z)=1-[1-F(z){]}^n \end{gathered}$$

四、随机变量的数字特征

1.数学期望

离散型随机变量的数学期望

定义：设离散型随机变量X的分布列P(X=x)=$$\begin{gathered} p_i(i=1,2...) \\ 若级数{\sum }_{i=1}^{\infty }{x}_i{p}_i \end{gathered}$$绝对收敛，即$$\begin{gathered} {\sum }_{i=1}^{\infty }|x_i|p_i<\infty ,则称{\sum }_{i=1}^{\infty }{x}_i{p}_i为X的数学期望 \\ 记为E(X) \end{gathered}$$
常用离散分布的期望
X~B(1,p),则E(X)=p
X~B(n,p),则E(X)=np
X~P($\lambda$),则E(X)=$\lambda$
X~G( p),则E(X)=1/p

连续型随机变量的数学期望

定义：设X是连续型随机变量，其密度函数为$f(x)$,若${\int }_{-\infty }^{\infty }xf(x)dx$绝对收敛，则称：${\int }_{-\infty }^{\infty }xf(x)dx$为X的数学期望。
常用连续分布的期望
均匀分布：X~U(a,b)，E(X)=$\frac{a+b}{2}$
指数分布：X~E($\lambda$),E(X)=$\frac{1}{\lambda }$
正态分布：X~N($\mu ,{\sigma }^2$),E(X)=$\mu$

一维随机变量函数的数学期望

定理1：设Y=g(X),g(x)是连续函数
（1） 若X是离散型随机变量，其分布P(X=$x_i$)=$p_i$且${\sum }_{i=1}^{\infty }|g(x_i)p_i<\infty |$则：
$E(Y)=E|g(X)|={\sum }_{i=1}^{\infty }g(x_i)p_i$
（2) 若X是连续型随机变量，其概率密度为$f(x)$则：
$E(Y)=E|g(X)|={\int }_{-\infty }^{\infty }g(x)f_x(x)dx$

二维随机变量函数的数学期望

定理2：设Z=g(X,Y),G(x,y)为连续函数
（1）若(X,Y)是二维离散型随机变量，其分布列P(X=$x_i$,Y=$x_j$)=$p_{ij}$则：
$E(Z)=E|g(X,Y)|={\sum }_{i=1}^{\infty }{\sum }_{j=1}^{\infty }g(x_i,y_j)p_{ij}$
（2)若(X,Y)是二维连续型随机变量，其概率密为$f(x,y)$则：
$$\begin{gathered} E(Z)=E|g(X,Y)|={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)f(x,y)dxdy \\ E(X)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xf(x,y)dxdy \\ E(Y)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }yf(x,y)dxdy \end{gathered}$$

数学期望的性质

1. 设C是常数，则E©=C
2. E(CX)=XE(X),C是常数
3. $$\begin{gathered} E(X_1+X_2)=E(X_1)+E(X_2) \\ 推广：E|{\sum }_{i=1}^{\infty }{X}_i|={\sum }_{i=1}^{\infty }E(X_i) \end{gathered}$$
4. 设$X_1$与$X_2$独立，则$$\begin{gathered} E(X_1{X}_2)=E(X_1)E(X_2) \\ 推广：E|{\prod }_{i=1}^n{X}_i|={\prod }_{i=1}^{n}E(X_i) \end{gathered}$$

2.方差

定义：设X是一个随机变量，若E|X-E(X)|${}^2$存在，则E|X-E(X)|${}^2$是X的方差，记作D(X),即：
D(X)=E|X-E(X)|${}^2$
$\sqrt{D(X)}$是X的标准差或均方差，记${\sigma }_x$
$D(X)=E(X^2)-[E(X){]}^2$
常用分布的方差
泊松分布：X~P($\lambda$)，D(X)=$\lambda$
均匀分布：X~U(a，b)，D(X)=$\frac{(b-a{)}^2}{12}$
正态分布：X~N($\mu$,${\sigma }^2$)，D(X)=${\sigma }^2$
二项分布：X~B(n,p)，D(X)=np(1-p)
几何分布：X~G§，D(X)=$\frac{1-p}{p^2}$
指数分布：X~E($\lambda$)=$\frac{1}{{\lambda }^2}$

方差的性质

1. 设C是常数，则D( C)=0
2. 若C是常数，则D(CX)=$C^{2}D(X)$
3. D(X+Y)=D(X)+D(Y)+2E{|X-E(X)||Y-E(Y)|}$$\begin{gathered} 若XY相互独立，则：D(X+Y)=D(X+D(Y) \\ 推广：X_1,X_2...X_n相互独立，则： \\ D|{\sum }_{i=1}^n{X}_i|={\sum }_{i=1}^{n}D(X_i) \\ D|C_0+{\sum }_{i=1}^n{C}_i{X}_i|={\sum }_{i=1}^n{C}_i^{2}D(X_i) \end{gathered}$$
4. 若X.Y独立，则：$D(XY)=D(X)D(Y)+D(X)|E(Y){|}^2+D(Y)|E(X){|}^2$
5. D(X)=0的充要条件是X以概率1取常数，即：$p\{X=E(X)\}=1$

3.协方差及相关系数

协方差定义: 若E{|X-E(X)||Y-E(Y)|}存在，称它为随机变量X和Y的协方差，记Cov(X,Y）
当Cov(X,Y)>0,X与Y正相关
当Cov(X,Y)<0,X与Y负相关
当Cov(X,Y)=0,X与Y不相关

协方差的性质

1. Cov(X,Y)=Cov(Y,X),Cov(X,a)=0,a为常数
2. D(X)=Cov(X,X)
3. Cov(aY,bX)=abCov(Y,X)
4. $$\begin{gathered} Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) \\ 协方差的计算公式：Cov(X,Y)=E(XY)-E(X)E(Y) \end{gathered}$$
5. 若X与Y独立，则Cov(X,Y)=0

相关系数的定义： 若$Cov(X,Y)$存在，且D(X)>0,D(Y)>0,称：${\rho }_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$为随机变量X,Y的相关系数。
相关系数是表示两个随机变量之间线性相关程度的一个数字特征（无量纲），相关系数越接近1，两个变量的线性相关程度越高，相关系数越接近0，两个变量的线性相关程度越低。
协方差也是表示两个随机变量之间的线性相关程度的一个数字特征（有量纲）

4.矩、协方差矩阵

定义：
（1）若$E(X^k)(K=1,2...)$存在，则称E($X^k$)为X的k阶原点矩，记：$a_k=E(X^k)$
（2）若$E[X-E(X){]}^k$存在，则称$E[X-E(X){]}^k$为X的k阶中心矩，记：${\beta }_k=E[X-E(X){]}^k$
** E(X)为1阶原点矩；D(X)为2阶中心矩
（3）若$E(X^k{Y}^l)(k,l=1,2...)$存在，则称$E(X^k{Y}^l)$为X和Y的k+l阶混合原点矩，记：$a_{k,l}=E(X^k{Y}^l)$
（4）若$E[X-E(X){]}^k[Y-E(Y{)}^l]$存在，则称$E[X-E(X){]}^k[Y-E(Y{)}^l]$为X和Y的k+l阶混合中心矩，记：${\beta }_{k,l}=E[X-E(X){]}^k[Y-E(Y{)}^l]$
**协方差为1+1阶混合中心矩

五、大数定律及中心极限定理

1.大数定律

依概率收敛

定义： 设$Z_1,Z_2...$是一个随机变量序列，a是一个常数，若对任意$ϵ>0$有：$li{m}_{n\to \infty }P(|Z_n-a|<ϵ)=1$，称序列依概率收敛于a

切比雪夫不等式

对任意随机变量X，若D(X)存在，则对任意的$ϵ>0$有：
$$\begin{gathered} P[|X=E(X)|\ge ϵ]\le \frac{D(X)}{{ϵ}^2} \\ 或：P[|X=E(X)|<ϵ]\ge 1-\frac{D(X)}{{ϵ}^2} \end{gathered}$$

伯努利大数定律

设$Y_n$是n重伯努利试验中事件A发生的次数，$p(0<p<1)$是事件A发生的概率，则对任给的$ϵ>0$,有：
$$\begin{gathered} li{m}_{n\to \infty }P\{|\frac{Y_n}{n}-p|\ge ϵ\}=0 \\ 或：li{m}_{n\to \infty }P\{|\frac{Y_n}{n}-p|<ϵ\}=1 \end{gathered}$$

切比雪夫大数定律

设$X_1,X_2...$是相互独立的随机变量序列，他们都有有限的方差，且方差有共同的上界，即$D(X_i)\le C$，则对任意的$ϵ>0$,有：
$$\begin{gathered} li{m}_{n\to \infty }P\{|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^n(E{X}_i)|\ge ϵ\}=0 \\ 或：li{m}_{n\to \infty }P\{|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^n(E{X}_i)|<ϵ\}=1 \end{gathered}$$

2.中心极限定理

独立同分布下的中心极限定理(林德伯格-莱维定理)

设$X_1,X_2,...$是独立同分布的随机变量序列，且$E(X_i)=\mu ,D(X_i)={\sigma }^2$,则对充分大的n，有:
${\sum }_{i=1}^n{X}_i\approx B(n\mu ,n{\sigma }^2)$
$P(a<{\sum }_{i=1}^n\le b)\approx \varphi (\frac{b-n\mu }{\sqrt{n}\sigma })-\varphi (\frac{a-n\mu }{\sqrt{n}\sigma })$

棣莫佛-拉普拉斯定理

设随机变量$Y_n$服从参数n,p的二项分布，则对充分大的n，有：
$$\begin{gathered} Y_n\approx N(np,npq) \\ 即：P(a<Y_n\le q)\approx \varphi (\frac{b-n\mu }{\sqrt{npq}})-\varphi (\frac{a-n\mu }{\sqrt{npq}}) \end{gathered}$$
**在实际中，0.19时，用正态近似；当$p\le 0.1(或p\ge 0.9)且n\ge 10时，用泊松近似。$

六、样本及抽样分布

1.随机样本

2.直方图和箱线图

3.抽样分布

七、参数估计

1.点估计

2.基于结尾样本的最大似然估计

3.估计量的评选标准

4.区间估计

5.正态总体均值与方差的区间估计

6.（0-1）分布参数的区间估计

7.单侧置信区间

八、假设试验

1.假设检验

2.正态总体均值的假设检验

3.正态总体方差的假设检验

4.置信区间与假设检验之间的关系

5.样本容量的选择

6.分布拟合检验

7.秩和检验

8.假设检验问题的$\beta$值法

九、方差分析及回归分析

1.单因素试验的方差分析

2.双因素试验的方差分析

3.一元线性回归

4.多元线性回归

十、bootstrap方法