高斯分布表示

  高斯分布在统计机器学习中占有举足轻重的作用。比如线性高斯模型、卡曼滤波(本质上也是线性高斯模型)、PCA。

  在卡曼滤波中相邻的隐变量服从线性高斯模型,如 z t − 1 z_{t-1} zt1 z t z_t zt服从 z t = A z t − 1 + B + ϵ z_t=Az_{t-1}+B+\epsilon zt=Azt1+B+ϵ。其中 ϵ \epsilon ϵ为高斯噪声。顺便说一句,与隐变量相对应的另一种变量是观测变量。

1. 极大似然估计(MLE)

X = ( x 1 x 2 ⋯ x N ) N × P T = [ x 11 x 12 ⋯ x 1 p x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋮ ⋮ x N 1 x N 2 ⋯ x N P ] X = \left( \begin{array} { l l } { x _ { 1 } } & { x _ { 2 } \cdots x _ { N } } \end{array} \right) ^ { T }_ { N \times P }= \left[ \begin{array} { c c c c } { x _ { 11 } } & { x _ { 12 } } & { \cdots } & { x _ { 1 p } } \\ { x _ { 21 } } & { x _ { 22 } } & { \cdots } & { x _ { 2 p } } \\ { \vdots } & { \vdots } & { \vdots } & { \vdots } \\ { x _ { N 1 } } & { x _ { N 2 } } & { \cdots} & { x _ { N P } } \end{array} \right] X=(x1x2xN)N×PT=x11x21xN1x12x22xN2x1px2pxNP

x i ∈ R p x_i \in \mathbb{R}^p xiRp

x i ∼ i i d N ( μ , Σ ) x_i \stackrel{iid}{\sim} N(\mu,\Sigma) xiiidN(μ,Σ)

θ = ( μ , Σ ) \theta=(\mu, \Sigma) θ=(μ,Σ)

你可能感兴趣的:(概率论,机器学习,算法)