矩母函数

矩母函数

概念

矩

什么叫矩？
给出知乎上的一个回答矩的概念以及wiki上的数学定义。

数学上，一个分布函数 f(x) 的 n 阶矩定义为

μn=∫∞−∞(x−c)nf(x)dx

物理学上的力矩、转动惯量、磁矩、角动量、电偶极矩，统计学上的原点矩，都是这个形式。

母函数

• 幂级数展开中各阶系数和一个数列对应相等的函数，称为这个数列的母函数，也叫生成函数(generating function)。显然，任一个函数都是其幂级数展开各项系数组成的数列的母函数。

一个序列{ an }的母函数为[1]

G(an;x)=∑n=0∞anxn

矩母函数

• 矩母函数，能产生一个随机变量各阶原点矩的母函数。

• 定义式[2]
  

  MX(t)=EetX,t∈R

• 一般形式
  
  MX(t)=∫∞−∞etXdF(x)
• 离散随机变量
  
  MX(t)=∑k=0∞etkp(X=k)
• 连续型随机变量
  
  MX(t)=∫∞−∞etxf(x)dx
• 随机向量的矩母函数
  
  MX(t)=Eet⋅X=EetTX,t∈R

性质

• MX(t)≥0
• MX(0)=1
  
  

  proof
  

  MX(0)=E(1)=1

• MX(t) 可能不存在。

  example Cauchy Distribution
  proof
  

  f(x)=1π(1+x2)

  
  

  E(x)=∫∞−∞x1π(1+x2)dx=12π∫∞−∞d(1+x2)(1+x2)=1πln(1+x2)|∞0→∞

• MX(0)(n)=mn

  proof
  因为
  

  etX=1+tX+t2X22!+t3X33!+⋯

  
  所以
  

  MX(t)=1+tEX+t2EX22!+t3EX33!+⋯=1+tm1+t2m22!+t3m33!+⋯

  
  所以
  

  MX(0)(n)=mn

• 对连续型随机变量， MX(−t) 是 f(x) 的Laplace变换。

• 线性性. X1,X2 独立时
  

  MaX1+bX2=MX1(at)MX1(bt)

  proof
  

  MaX1+bX2=Eet(aX1+bX2)=E(etaX1⋅etbX2)=E(etaX1)E(etbX2)=MX1(at)MX1(bt)

• 若 MX(t)=MY(t) 处处成立，则 FX(x)=FY(x) 也处处成立，即两个随机变量的矩母函数相同，那么分布函数也相同。

一些分布的矩母函数

（图片来自wikipedia）

特征函数

概念

• 特征函数，能完全刻画一个随机变量概率分布的函数。

• 定义式[Characteristic function]
  

  φX(t)=EeitX,t∈R

• 一般形式
  
  φX(t)=∫∞−∞eitXdF(x)
• 离散随机变量
  
  φX(t)=∑k=0∞eitkp(X=k)
• 连续型随机变量
  
  φX(t)=∫∞−∞eitxf(x)dx
• 随机向量的特征函数
  
  φX(t)=Eeit⋅X=EeitTX,t∈R

性质

• φX(t) 一定存在，且 |φ(t)|≤1

  proof
  

  |φX(t)|=∣∣∣∫∞−∞eitXdF(x)∣∣∣≤|eitX|∣∣∣∫∞−∞dF(x)∣∣∣≤1>

  
  收敛

• φX(0)=1

proof

φX(0)=E(1)=1

• 全空间连续。
• 0 邻域内非零。
• 厄米性
  
  φX(−t)=φX(t)¯¯¯¯¯¯¯¯
• 对称的概率密度分布对应的特征函数是实值偶函数。
• fX(x)=fY(x)⇔φX(t)=φY(t)

• mn=EXn=(−i)nφ(n)X(0)

  proof
  因为
  

  eitX=1+itX+i2t2X22!+i3t3X33!+⋯

  
  所以
  

  φX(t)=1+itEX+i2t2EX22!+i3t3EX33!+⋯=1+itm1+i2t2m22!+i3t3m33!+⋯

  
  所以
  

  φX(0)(n)=mnin

• 对连续型随机变量， φX(−t) 是 f(x) 的Fourier变换。

• 线性性. X1,X2 独立时
  

  φaX1+bX2=φX1(at)φX1(bt)

  proof
  

  φaX1+bX2=Eeit(aX1+bX2)=E(eitaX1⋅eitbX2)=E(eitaX1)E(eitbX2)=φX1(at)φX1(bt)

• Lévy’s continuity theorem

一些分布的特征函数

（图片来自wikipedia）