概率论笔记

第一章 基本概念

1.1 Visual techniques

1.1.1 Dot-plot 点图

1.1.2 Stem-and-Leaf 茎叶图

标注Stem和Leaf分别是什么

1.1.3 Histogram 直方图

number　of　classes=number　of　observations−−−−−−−−−−−−−−−−−−−−−√

frequency 是频数，relative frequency 是频率
横轴是分组，竖轴是频率

classwidth×rectangleheight(density)=relativefrequencyoftheclass

rectangleheight=relativefrequencyofclassclasswidth

1.1.4 Boxplots 箱线图

Outliers，左最小值或 1.5fs ，左四分位，中位数，右四分位，Outliers

fs=upperfourth−lowerfourth

1. Outlier：距离最近的四分位 1.5fs 以上
2. Extreme：距离最近的四分位 3fs 以上
3. Mild：在Outlier和Extreme之间的

1.2 Measures of Location

mean 均值

x¯=∑xin

trimmed means 截断均值

除去两端的10%的数据，剩下的算均值

median 中位数

variance 方差

D(X)=S=σ2=∑(xi−μ)2N

standard deviations 标准差

σ=σ2−−√

第二章 Probability 概率

2.1 Counting Techniques

2.1.1 permutation 排列

Akn=Pk,n=n!(n−k)!

从n开始连续乘k个数

2.2.2 Combinations 组合

(nk)=Ck,n=Pk,nk!=n!k!(n−k)!

2.2 Conditional Probability

P(A|B)=P(A⋂B)P(B)

全概率公式

P(B)=∑i=1kP(Ai∩B)=∑i=1kP(Ai)P(B|Ai)

P(B)=P(B∩A)+P(B∩A′)=P(B|A)P(A)+P(B|A′)P(A′)

贝叶斯公式

P(Aj|B)=P(Aj∩B)P(B)=P(Aj)P(B|Aj)P(B)=P(Aj)P(B|Aj)∑ki=1P(Ai)P(B|Ai),j=1,2,3…,k

2.5 Independence

Proposition:
A and B are independent if and only if P(A∩B)=P(A)P(B) .

Two events A and B are independence if P(A|B)=P(A) and are dependent otherwise.

Since P(A⋂B)=P(A|B)P(B)=P(B|A)P(A) , if P(A|B)=P(A) , then we have
P(A)P(B)=P(B|A)P(A)→P(B|A)=P(B) (if P(A)>0 )
If A and B are independence, so are the following pairs of events:
A. A′ and B
B. A and B′
C. A′ and B′

第三章 Descrete RV 离散型随机变量

pmf and cdf

Bernoulli Random Varible

只有0或1的取值

期望与方差计算法则

Expected Value 期望

定义

E(X)=μx=∑x∈Dx⋅p(x)

运算

E[h(X)]=∑x∈Dh(x)⋅p(x)

E(aX+b)=aE(X)+b

Variance 方差

V(X)=∑x∈D(x−μ)2⋅p(x)=E[(X−μ)2]

V(X)=σ2=E(X2)−[E(X)]2

V(aX+b)=σ2aX+b=a2σ2X

σaX+b=|a|⋅σX

二项分布

X ~ Bin(n,p)

b(x;n,p)={(nx)px(1−p)n−x0,x=0,1,2,…,n,otherwise

二项分布的cdf标记为

P(X≤x)=B(x;n,p)=∑y=0xb(y,n,p),x=0,1,…,n

二项分布的方差

σX=npq−−−√

q=1−p , p 是概率

Hypergeonetric Distribution 超几何分布

总数为N，有M个successes。设X=the number of successes in sample

P(X=x)=h(x;n,M,N)=(Mx)(N−Mn−x)(Nn)

E(x)=np

V(x)=N−nN−1⋅n⋅p⋅(1−p)

Negative Binomial Distribution 负的二项分布

负二项分布要求包含n次相互独立的伯努利实验。负二项分布变量为第r次成功前的失败次数。

nb(x;r,p)=(x+r−1r−1)pr(1−p)x

E(x)=r(1−p)p

V(x)=r(1−p)p2

Poisson Probability Distribution 泊松分布

随机变量X满足泊松分布，则

p(x;λ)=e−λλxx!

eλ=1+λ+λ22!+λ33!+⋯=∑x=0∞λxx!

1=∑n=0∞e−λx!

E(x)=V(x)=λ

用泊松分布近似二项分布

简介：

n→∞ 并且 p→0 ，那么 np→λ>0 ，这时可以用

b(x;n,p)→p(x;λ)

一般要求：

n>=100,p<=0.01,np<=20

第四章 Continuous RV 连续性随机变量

Uniform Distribution 均匀分布

f(x;A,B)={1B−A0A≤x≤Botherwise

F(x)=⎧⎩⎨⎪⎪0x−AB−A1x<AA≤x<Bx≥B

Percentiles of a Continuous Distribution

令p为0~1之间的一个数，那么连续随机变量X的(100p)th percentile标记为 η(p) 定义为

p=F(η(p))=∫η(p)−∞f(y)dy

Normal Distribution 正态分布

随机变量X有正态分布，参数为 μ 和 σ ，那么有pdf

f(x;μ,σ)=12π−−√σe−(x−μ)22σ2

E(x)=μ

V(x)=σ2

Zα 标记

有 α 大小的区域落在 Zα 的右边

Note: Zα is the 100(1- α)th percentile of the standard normal distribution

标准正态分布的转换

Z=X−μσ

用正态分布逼近二项分布

p(X≤x)=B(x;n,p)≈Φ(x+0.5−npnpq−−−√)

适用于 np>0 且 nq>0 的条件

Exponential and Gamma Distribution 指数分布和伽马分布

Gamma Function

Γ(α)=∫∞0xα−1e−xdx

Gamma函数有以下的性质

1. α>0 , Γ(α)=(α−1)⋅Γ(α−1)

2. Γ(n)=(n−1)!

3. Γ(12)=π√

指数分布

f(x;λ)={λe−λx0x≥0otherwise

E(x)=1λ

V(x)=1λ2

F(x)={01−e−λxx<0x≥0

Probability plot

画一张图，如果是45°的直线那么符合该分布

( [100(i−0.5)/n] th percentile , i th smallest sample observation )

正态分布

( [100(i−0.5)/n] th Z percentile , i th smallest sample observation )

第五章 Joint Probability 联合分布

Jointly Distribution Random Varibles

p(x,y)=p(X=x,Y=y)

p(x,y)>0 并且 ∑x∑yp(x,y)=1

Joint probability table 联合概率分布表

Marginal probability density(mass) functions 边缘概率密度(质量)函数

fX(x)=∫∞−∞f(x,y)dy,−∞<x<∞

fY(y)=∫∞−∞f(x,y)dx,−∞<y<∞

pX(x)=∑y:p(x,y)>0p(x,y)

pY(y)=∑x:p(x,y)>0p(x,y)

Independent Random Varibles 独立性

当X，Y满足 p(x,y)=pX(x)⋅pY(y) 或者 f(x,y)=fX(x)⋅fY(y) ，此时X，Y相互独立，否则他们称为dependent.

条件概率

fY|X(y|x)=f(x,y)fX(x),−∞<y<∞

Expected Value 期望和协方差

期望

E[h(X,Y)]=∑x∑yh(x,y)⋅p(x,y)

Covariance 协方差

Cov(X,Y)=E[(X−μX)(y−μY)]={∑x∑y(x−μX)(y−μY)p(x,y)∫∞−∞∫∞−∞(x−μX)(y−μY)f(x,y)dxdyX,YdiscreteX,Ycontinuous

Cov(X,Y)=E(XY)−μX⋅μY

各个统计量的分布

Random Sample 随机样本

X1,X2,…,Xn 被称为构成一个大小为n的随机样本，当
1. 所有的 Xi 都是随机变量
2.所有的 Xi 都有相同的概率分布函数

均值和方差

Let X1,X2,…,Xn be a random sample from a distribution with mean value μ and standard deviation σ . Then
1. E(X¯¯¯)=μX¯=μ
2. V(X¯¯¯)=σ2X¯=σ2/n and σX¯=σ/n√

对于从正态分布( N(μ,σ) )中取出的随机样本，那么 X¯¯¯ 是正态分布的，有平均值为 μ ，标准差 σ/n√ .

中心极限定理

一组随机样本 X1,X2,…,Xn 有样本均值 μ 和方差 σ2 ，如果n足够大，那么 X¯¯¯ 有近似的正态分布，均值为 μ ，方差为 σ2X¯=σ2/n .

通常要求n>30。

第六章 Point Estimation 点估计

A point estimate of a parameter θ is a single number that can be regarded as a sensible value for θ.

A point estimate is obtained by selecting a suitable statistic and computing its value from the given sample data. The selected statistic is called the point estimator of θ.

Unbiased Estimator 无偏估计

如果对于 θ 的点估计 θ^ 满足 E(θ^)=θ ，那么 θ^ 是他的无偏估计。

估计值	对应的无偏点估计
μ	μ^=X¯¯¯=∑xin
σ2	σ^2=S2=∑(Xi−X¯)2n−1
均匀分布的上界 θ	θ^=n+1n⋅max(X1,X2,…,Xn)

Method of Moments 矩估计

Let X1,X2,…,Xn be a random sample from a pmf or pdf f(x) . For k=1,2,3,…, the kth population moment, or kth moment of the distribution f(x) , is E(Xk) . The kth sample moment is 1n∑ni=1Xki

Let X1,X2,…,Xn be a random sample from a distribution with pmf or pdf f(x;θ1,…,θm) , where θ1,…,θm are parameters whose values are unknown. Then the moment estimators are obtained by equating the first m sample moments to the corresponding first m population moments and solving for θ1,…,θm

Maximum Likehood Estimation 最大似然法

Let X1,X2,…,Xn have joint pmf or pdf f(x1,x2,…,xn;θ1…,θm) where the parameters θ1,…,θm have unknown values. When x1,…,xn are the observed sample values and f is regarded as a function of θ1,…,θm , it is called the likelihood function. The maximum likelihood estimates(mle’s) are those values of the θi’s that maximize the likelihood function, so that When the Xi’s are substituted in place of the xi’s, the maximum likelihood estimators result.

最大似然法操作

• step1: 写出pmf/pdf
• step2: 取自然对数ln(有必要的话)
• step3: 对 ln(f) 取关于 θi 的偏导，并令其等于0，求解
  即
  
  ddθiln[f(x1,…,xn;θ1,…,θm)]=0

第七章 Statistical Intervals Based on A Single Sample 置信区间

Confidence Interval 置信区间(CI)

以95%置信区间举例，若已知 σ 。取 Z=X¯−μσ/n√ ，这是均值（这个统计量）的标准正态分布，那么取 P(a≤Z≤b)=0.95 ，也即 a=−b=z.025 ，由此得出 μ 的取值范围，即它的95%置信区间。

Large-Sample Confidence Intervals

如果不知道 σ ，那么我们取 Z=X¯−μS/n√ ，当n>40时，这个Z有近似的正态分布。

取自正态分布的总体的样本

μ ， σ 都不知道，那么rv

T=X¯¯¯−μS/n√

称为有着n-1自由度(degrees of freedom)的t分布。（自由度越高，图像越集中，越趋近于标准正态分布）。

方差的置信区间

一个取自正态分布（ N(μ,σ) ）的大小为n的随机样本，那么随机变量

(n−1)S2σ2=∑(Xi−X¯¯¯)2σ2

有卡方分布，n-1的自由度(df)。

第七章 Test of Hypotheses 假设检验

H0 是null hypotheses， Ha 是备择假设，alternative hypotheses。结果记为reject H0 ，或者fail to reject H0 。

误会了 H0 （ H0 是正确的，然而被认为是错的）那么是第一类错误(Type I error α )。

误会了 Ha （ Ha 是正确的，然而被认为是错的）那么是第二类错误 (Type I error β )。

For example:

α=P(type I error)====P(H0 is reject when it is true)P(X≥8 when X−Bin(20,0.25))1−B(7;20,.25)0.102

β 带有一个参数，即当假设的量不同时，对于假设量的每一个真正的值，都会产生一个 β 。比如下边这个例子，表示当真正的p为0.3时，我们出现II型错误的概率。

β(0.3)=====P(type II error when p=.3)P(H0 is not rejected when it is false because p=0.3)P(X≤7 when X−Bin(20,0.3))B(7;20,0.3).772

Leval α test

Case1: 正态分布，知道方差

Null hypotheses:

H0:μ=μ0

Test stactistic value:

z=x¯−μ0σ/n√

Ha:μ>μ0 ，那么level α test rejection region为 z≥zα
Ha:μ<μ0 ，那么level α test rejection region为 z≤−zα
Ha:μ≠μ0 ，那么level α test rejection region为 z≥zα/2 or z≤−zα/2

即α是否定的概率