先总结一些基本结论。
设有随机变量组成的向量 X=[X1,⋯,Xn]T X = [ X 1 , ⋯ , X n ] T ,均值为 μ∈Rn μ ∈ R n ,协方差矩阵 Σ Σ 为对称正定 n n 阶矩阵。在此基础上,如果还满足概率密度函数
关于协方差矩阵,在前面的PCA和白化里面有总结,一个随机向量的协方差矩阵就是这样一个矩阵: Σi,j=Cov(Xi,Xj) Σ i , j = Cov ( X i , X j ) 。实际上,随机向量的均值和协方差矩阵有下面关系:
上面说到,要求 Σ Σ 是一个对称的正定矩阵,实际上任何随机向量的协方差矩阵都是半正定的,只不过概率密度函数里面进一步要求 Σ−1 Σ − 1 的存在,所以 Σ Σ 必然是满秩矩阵,所以肯定是正定的。
若 Σ Σ 是对角形式的(比如随机向量是二维的,高维也类似)
直觉上来说,应该可以使用正交变换 R R 使得协方差矩阵 Σ Σ 对角化(结合协方差矩阵的意义,这会使得随机向量 X X 每个元素互不相关)。
为此,试探性地作代换 X←RT(X−μ) X ← R T ( X − μ ) ,则根据 Σ=E[(X−μ)(X−μ)T]=E(XXT)−μμT Σ = E [ ( X − μ ) ( X − μ ) T ] = E ( X X T ) − μ μ T 可得新的协方差矩阵
关于高斯混合模型的背景,一篇博客觉得讲的比较明白(地址),这里就不抄写一些背景概念了,只总结最主要的部分。
样本集( x x 不是随机变量,是样本)为 { x(1),⋯,x(m)} { x ( 1 ) , ⋯ , x ( m ) } ,共 m m 个样本,每个样本是一个向量。为估计出概率密度函数 p(x;ϕ,μ,Σ) p ( x ; ϕ , μ , Σ ) 中的三个参数 ϕ,μ