HMM 做训练的 Sigma not positive definite (非正定的)原因及处理办法

最近使用pmtk3工具,做 HMM with Gaussian Mixture Model 的 fitting 的时候总是报错问题是
Sigma is not positive definite. 
大致搜了下什么是非正定,以及解决办法。


(I)问题出现:四种情况可以出现此问题
1. 输入的 covariance 或者corelation matrix 非正定。例如在最小二乘规划中需要covariance or correlation 一定要正定的。
ML estimation 也需要这个要求。


2. 渐近互变异收矩阵 (asymptotic covariance matrix)。这个错误不是由于covariance matrix,而是a weight matrix to 
be used with asymptotically distribution-free / weighted least squares (ADF/WLS) estimation


3. Sigma 的 estimate


4. other


(II) 什么是非正定
正定矩阵 <=> 矩阵的所有特征值为正
矩阵的正定性和矩阵的determinant有一定的关系。 determinant 是矩阵的标量函数,即求矩阵行列式的值。
一个对称的矩阵,矩阵的正定需要其所有的Principal submatrices 正定。 
如果一个矩阵的determinant 是0, 则这个矩阵就是奇异矩阵 Singular matrix (其实就是对应的行列式值为0,或者n*n矩阵M 的秩 Rank(M)< n).


正定性的重要性在于,在某些运算中需要计算输入矩阵的逆矩阵。 如果矩阵是奇异的,那么在计算他的逆矩阵时候就会使得矩阵除0.
ML estimetion中也需要计算Sigma的逆,因为需要最大化输入matrix和sigma的相似度, 如果Sigma是非正定的,问题就会很大。


(III)为什么矩阵会不正定,怎么办
问题在于为什么输入的矩阵的determinant是0 或者负的。
怎么回避这些问题。


1. 线性相关
如果两个变量线性相关,那么他们的covariance 矩阵将会是非正定的。 解决办法是减少变量的个数,或者做主成分分析。


2. 初始值
初始值时候Sigma矩阵不为正定的矩阵, 确保参数初始正确。可以使用deta * I 矩阵初始化


3. 抽样误差
当数据很少的时候


4.数据读取错误
例如一个空的covariance 矩阵 总是非正定的。


5. other


(IV) HMM with Gaussian Mixture Model 出现问题
主要是因为Sigma 是variable的 covariance 矩阵。 因为我使用word 作为feature,而且只取top的一些word,时间片切分的有点短
感觉可能是因为word之间有些相关性导致问题的出现。而且我输出每轮的sigma发现sigma很多元素为0
使用PCA做了主成分分析 确实效果能好些。


http://www2.gsu.edu/~mkteer/npdmatri.html

你可能感兴趣的:(Tech,ML)