机器学习笔记_数学基础_2-概率论

概率论

• 概率： P(X)∈[0,1]=>离散；连续
• 累积分布函数 Φ(x)=P(x)(x≤x0)

古典概率

• 排列 Pnr=n(n−1)(n−2)⋯(n−r+1)
• 组合 Cnr=Pnrr!=n!r!(n−r)! （排列是组合的 r! 倍）
• 装箱： n个相异物分为k堆,各堆得物件数分别是 r1,r2,⋯,rk 的分法是
  n!r1!⋯rk!

概率

• 条件概率 P(A|B)=P(AB)P(B)
• 全概率 P(A)=∑iP(A|Bi)P(Bi)
• 贝叶斯 P(Bi|A)=P(A|Bi)P(Bi)∑iP(A|Bi)P(Bj)

分布<离散>

• 0-1 分布

X	1	0
p	p	1-p

• 二项分布
  P{X=k}=(nk)pk(1−p)n−k;(k=0,1,⋯,n)

• 泊松分布 X∼π(λ)
  P{X=k}=λkk!e−λ

• 泊松逼近
  (1) 二项分布中n次伯努利，k次成功, n-k次失败的概率
  b(k;n,p)=(nk)pkqn−k
  (2) λ=np; n很大，p很小；泊松分布是二项分布的近似
  (3) 泰勒展开(归纳法得到泊松分布)

• 几何分布
  重复试验到首次成功的概率： P{X=k}=(1−p)n−1p

• 超几何分布
  设坛子共N个球，其中m个白球，N-m个黑球，从中随机的(无放回)取出n个球,令X表示取出来的白球数，
  P{X=i}=(mi)(N−mn−i)(Nn)

  分布<连续>

• 均匀分布

• 指数分布(无记忆性)

• 正态分布： X∼N(μ,σ2)

  f(x)=12π√e−(x−μ)22σ2; σ>0,−∞<x<+∞;

• 二项分布的正态近似
  （1） 棣莫佛-拉普拉斯： n充分大时，参数(n,p)的二次分布可以由正态分布近似
  （2） n 较大， p 较小 => 泊松分布
  np(1−p) 较大 => 正态分布

指数分布族

概率密度函数可以表示为如下：
f(x|p)=h(x)c(θ)exp(∑kiωi(θ)ti(x))

• 二项分布

f(x|p)=(nx)px(1−p)n−x=(nx)(1−p)n(p1−p)x=(nx)(1−p)nexp(log(p1−p)x)

h(x)=(nr),x=0,⋯,n
c(p)=(1−p)n,o<p<1
t1=x
ω1(p)=log(p1−p),o<p<1

• logist函数(k=1) => f(x|p)=h(x)c(p)exp[ω1(p)t1(x)]

  令 η=log(p1−p) => p=11+e−x

  logist函数: f(x)=11+e−x

  f′(x)=(11+e−x)=f(x)(1−f(x))

• 正态分布的指数族(k=2) => f(x|μ,σ2)=h(x)c(μ,σ)exp[ω1(μ,σ)t1(x)+ω2(μ,σt2(x))]

  f(x|μ,σ2)=12π−−√exp(−(x−μ)22σ2)=12π−−√exp(−μ22σ2)exp(−x22σ2+μxσ2)

h(x)=1
c(θ)=c(μ,σ)=12π√exp(−μ22σ2)
ω1(μ,σ)=1σ2;ω2(μ,σ)=μσ2
t1(x)=−x22;t2(x)=x