机器学习笔记_数学基础_3-数理统计

随机变量的数字特征

• 期望： <概率下的加权平均数>

  E(X)=∑ixipi;
  E(X)=∫+∞−∞xf(x)dx

• 方差
  Var(X)=E{[X−E(X)]2}
• 协方差
  Cov(X,Y)=E{[X−E(X)][Y−E[Y]]}

• 独立 VS 不相关

统计量

• 矩
  (1) 对于随机变量X，X的 k 阶原点矩是 E(xk)
  (2) 对于随机变量X，X的 k 阶中心矩是 E{[X−E(X)]k}

• 切比雪夫不等式
• 大数定理： 当n很大时，随机变量 x1,⋯,xn 的平均值 Yn 在概率意义下接近于期望 μ
• 伯努利大数定理： 频率收敛于期望

• 中心极限定理：

  Yn=∑niXi−nμn√σ 收敛到正态分布 N∼N(nμ,nσ2)

矩估计

• 假设： 样本的 k 阶矩等于总体的 k 阶矩 => 估算出总体的参数

极大似然估计

• 联合密度函数 => 似然函数

  L(x1,⋯,xn;θ1,⋯,θk)=∏ni=1f(x1;θ1,⋯,θk)

• 似然函数= θ 被视为未知参数，在概率取得最大时，为最佳估计

  logL(θ1,⋯,θk)=∑ni=1f(xi;θ1,⋯,θk)

  ∂L(θ)∂θi=0;i=1,2,⋯,k

• 正态分布的最大似然函数

估计量的判断准则

• 无偏性： E(θ^)=θ

• 均方误差： MSE(θ^)=E[(θ^−θ)2]
  若： θ^ 是 θ 的无偏估计则：

  均方误差=方差