语音识别中GMM-HMM的相关知识

  本文讲阐述在语音识别中GMM-HMM的知识。其中包括了对GMM（Gauss Mixture Model）和HMM（Hidden Markov Model）的定义、原理及其算法的介绍。

GMM（高斯混合模型）

  设有随机变量X，则混合高斯模型可以用下式表示：

p(x)=∑k=1KπnN(x|μk,∑k) p ( x ) = ∑ k = 1 K π n N ( x | μ k , ∑ k )

  其中 N(x|μk),∑k N ( x | μ k ) , ∑ k 称为高斯混合模型中的第K个分量。且满足：

∑k=1Kπk=1，0≤πk≤1 ∑ k = 1 K π k = 1 ， 0 ≤ π k ≤ 1

  可以看到 πk π k 相当于每个分量 N(x|μk,∑k) N ( x | μ k , ∑ k ) 的权重。

GMM参数估计过程

 GMM的贝叶斯理解

  在GMM的定义中， πk π k 是混合系数，表示第K个分布被选中的概率。下面引入一个K维随机变量Z，其中 zk z k 定义如下：

zk={ 10selectothersk,1≤k≤K z k = { 1 s e l e c t k 0 o t h e r s , 1 ≤ k ≤ K

  记第k个分布被选中的概率为 p(zk=1)=pk p ( z k = 1 ) = p k ，那么第k个分布未被选中的概率为 p(zk=0)=1−pk p ( z k = 0 ) = 1 − p k 。因此，有： ∑Kzk=1 ∑ K z k = 1 。假设 zk z k 之间是独立同分布的，则z的联合概率分布形式为：

p(z)=p(z1)p(z2)...p(zk)=∏k=1Kpzkk p ( z ) = p ( z 1 ) p ( z 2 ) . . . p ( z k ) = ∏ k = 1 K p k z k

  类似的，给定z的一个特定的值，x关于z的条件概率分布是一个高斯分布 p(x|zk=1)=N(x|mk,∑k) p ( x | z k = 1 ) = N ( x | m k , ∑ k ) ，也可以写成

p(x|z)=∏k=1KN(x|m,∑k)zk p ( x | z ) = ∏ k = 1 K N ( x | m , ∑ k ) z k

  联合概率分布为 p(z)p(x|z) p ( z ) p ( x | z ) ，从而x的边缘概率分布可以通过将联合概率分布对所有的z求和的方式得到，即

p(x)=∑Zp(z)p(x|z)=∑k=1K(∏k=1K(pzkk)N(x|mk,∑k)zk)=∑k=1KpkN(x|mk,∑k) p ( x ) = ∑ Z p ( z ) p ( x | z ) = ∑ k = 1 K ( ∏ k = 1 K ( p k z k ) N ( x | m k , ∑ k ) z k ) = ∑ k = 1 K p k N ( x | m k , ∑ k )

  根据贝叶斯定理，后验概率可以表示为：

γ(zk)=p(zk=1|x)=p(zk=1)p(x|zk=1)/∑j=1Kp(zj=1)p(x|zj=1)=πkN(x|μk,∑k)/∑j=1KπjN(x|μj,∑j) γ ( z k ) = p ( z k = 1 | x ) = p ( z k = 1 ) p ( x | z k = 1 ) / ∑ j = 1 K p ( z j = 1 ) p ( x | z j = 1 ) = π k N ( x | μ k , ∑ k ) / ∑ j = 1 K π j N ( x | μ j , ∑ j )

EM 算法估计GMM参数

  EM算法分两步，第一步先求出要估计参数的粗略值，第二部使用第一步的值最大似然估计。因此要先求出GMM的似然函数。
假设 x={ x1,x2,...,xN} x = { x 1 , x 2 , . . . , x N } ，GMM模型中有三个参数需要估计，分别为 π,μ,∑ π , μ , ∑ 。并且有：

p(x|π,μ,∑)=∑k=1KπkN(x|μk,∑k) p ( x | π , μ , ∑ ) = ∑ k = 1 K π k N ( x | μ k , ∑ k )

  为了估计这三个参数，需要分别求解出这三个参数的最大似然函数。先求解 μk μ k 的最大似然函数。对上式取对数后在对 μk μ k 求导并令导数为0即得到最大似然函数。

0=−∑n=1NπkN(xn|μk,∑k)∑k(xn−μk)/∑jπkN(xn|μj,∑j) 0 = − ∑ n = 1 N π k N ( x n | μ k , ∑ k ) ∑ k ( x n − μ k ) / ∑ j π k N ( x n | μ j , ∑ j )

  注意到上式中分数的一项的形式正好是后验概率的形式。两边同乘 ∑−1k ∑ k − 1 ，重新整理可以得到：

μk=(1/Nk)∑n=1Nγ(znk)xn μ k = ( 1 / N k ) ∑ n = 1 N γ ( z n k ) x n

  其中： Nk=∑Nn=1γ(znk) N k = ∑ n = 1 N γ ( z n k ) 上面两式中，N表示点的数量。 γ(znk) γ ( z n k ) 表示点属于聚类k的后验概率。则 Nk N k 可以表示属于第k个聚类的点的数量。那么 μk μ k 表示所有点的加权平均，每个点的权值是 ∑Nn=1γ(znk) ∑ n = 1 N γ ( z n k ) ，跟第k个聚类有关。
  同理可求 ∑k ∑ k 的最大似然函数，可以得到：

∑k=(1/Nk)∑n=1Nγ(znk)(xn−μk)(xn−μk)T ∑ k = ( 1 / N k ) ∑ n = 1 N γ ( z n k ) ( x n − μ k ) ( x n − μ k ) T

  最后剩下 πk π k 的最大似然函数。注意到 πk π k 有限制条件 ∑Kk=1πk=1 ∑ k = 1 K π k = 1 ，因此我们需要加入拉格朗日因子

lnp(x|π,μ,∑)+λ(∑k=1Kπk−1) l n p ( x | π , μ , ∑ ) + λ ( ∑ k = 1 K π k − 1 )

  求上式关于 πk π k 的最大似然函数，得到：

0=∑n=1N(N(xn|μk,∑k)/∑jπjN(xn|μj,∑j))+λ 0 = ∑ n = 1 N ( N ( x n | μ k , ∑ k ) / ∑ j π j N ( x n | μ j , ∑ j ) ) + λ

  上式两边同乘 πk π k ，可以得到 λ=−N λ = − N ，进而可以得到 πk π k 更简洁的表达式：

πk=Nk/N π k = N k / N

  EM算法估计GMM参数化 μk=(1/Nk)∑Nn=1γ(znk)xn μ k = ( 1 / N k ) ∑ n = 1 N γ ( z n k ) x n , ∑k=(1/Nk)∑Nn=1γ(znk)(xn−μk)(xn−μk)T ∑ k = ( 1 / N k ) ∑ n = 1 N γ ( z n k ) ( x n − μ k ) ( x n − μ k ) T , πk=Nk/N π k = N k / N 需要用到以上式子。我们先指定 π π ， μ μ ， ∑ ∑ (以下将以上三式称为1,2,3)的初始值，带入后验概率公式计算出 γ(znk) γ ( z n k ) ，然后再将带入(1,2,3)式，得到 πk,μk,∑k π k , μ k , ∑ k ；接着用求得的 πk,μk,∑k π k , μ k , ∑ k 再带入后验概率公式得到新的 γ(znk) γ ( z n k ) ，再将更新后的带入(1,2,3)，如此往复，直到算法收敛。

EM 算法

  1.定义分量数目K，对每个分量k设置 πk,μk,∑k π k , μ k , ∑ k 的初始值，然后计算

p(x|π,μ,∑)=∑k=1KπkN(x|μk,∑k) p ( x | π , μ , ∑ ) = ∑ k = 1 K π k N ( x | μ k , ∑ k )

的对数似然函数。
  2.E step
 根据当前的 πk,μk,∑k π k , μ k , ∑ k 计算后验概率 γ(znk) γ ( z n k )

γ(znk)=πkN(xn|μn,∑n)/∑j=1πjN(xn|μj,∑j) γ ( z n k ) = π k N ( x n | μ n , ∑ n ) / ∑ j = 1 π j N ( x n | μ j , ∑ j )

  3.M step
  根据E step中计算 γ(znk) γ ( z n k ) 再计算新的 πk,μk,∑k π k , μ k , ∑ k

μnewk=(1/Nk)∑n=1Nγ(znk)xn μ k n e w = ( 1 / N k ) ∑ n = 1 N γ ( z n k ) x n

∑knew=(1/Nk)∑n=1Nγ(znk)(xn−μnewk)(xn−μnewk)T ∑ k n e w = ( 1 / N k ) ∑ n = 1 N γ ( z n k ) ( x n − μ k n e w ) ( x n − μ k n e w ) T

πnewk=Nk/N π k n e w = N k / N

其中：

Nk=∑n=1Nγ(znk) N k = ∑ n = 1 N γ ( z n k )

  4.计算后验概率的对数似然函数

lnp(x|π,μ,∑)=∑n=1Nln{ ∑k=1KπkN(xk|μk,∑k)} l n p ( x | π , μ , ∑ ) = ∑ n = 1 N l n { ∑ k = 1 K π k N ( x k | μ k , ∑ k ) }

  5.检查参数是否收敛或对数似然函数是否收敛，若不收敛，则返回第2步。

HMM（隐马尔科夫模型）

  隐马尔科夫模型是关于时序的概率模型，描述由一个隐蔽的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态的序列，称为状态序列（state sequence）；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence）。序列的每一个位置又可以看作是一个时刻。隐马尔科夫模型是统计模型，它用来描述一个含有隐含未知参数的马尔科夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来做进一步的分析，例如模型识别。
  隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。其形式定义如下：
  设Q是所有可能的状态集合，V是所有可能的观测的集合。

Q={ q1,q2,...,qN}，V={ v1,v2,...,vM} Q = { q 1 , q 2 , . . . , q N } ， V = { v 1 , v 2 , . . . , v M }

其中，N是可能的状态数，M是可能的观测数。
  I是长度为T的状态序列，O是对应的观测序列。

I={ i1,i2,...,iT}，O={ o1,o2,...,oT} I = { i 1 , i 2 , . . . , i T } ， O = { o 1 , o 2 , . . . , o T }

  A是状态转移概率矩阵:

A=[aij]N×N A = [ a i j ] N × N

其中，

aij=P(it+1=q|it=qi)，i=1,2,...,N；j=1,2,...,N a i j = P ( i t + 1 = q | i t = q i ) ， i = 1 , 2 , . . . , N ； j = 1 , 2 , . . . , N

  是在时刻t处于状态 qi q i 的条件下在时刻t+1转移状态 qj q j 的概率。
B是观测概率矩阵：

B=[bj(k)]N×N B = [ b j ( k ) ] N × N

其中，

bj(k)P(ot=vk|it=qj)，k=1,2,...,M；j=1,2,...,N b j ( k ) P ( o t = v k | i t = q j ) ， k = 1 , 2 , . . . , M ； j = 1 , 2 , . . . , N

  是在时刻t处于状态 qj q j 的条件下生成观测 vk v k 的概率。
   π π 是初始状态概率向量：

π=(πi) π = ( π i )

其中，

πi=P(i1=qi)，i=1,2,...N π i = P ( i 1 = q i ) ， i = 1 , 2 , . . . N

  是时刻t=1处于状态 qi q i 的概率。
  隐马尔科夫模型由初始概率向量 π π ,状态转移矩阵A和观测概率矩阵B决定。 π π 和A决定状态序列，B决定观测序列。因此，隐马尔科夫模型 λ λ 可以用三元符号表示，即

λ=(A,B,π) λ = ( A , B , π )

A,B, λ λ 称为隐马尔科夫模型的三要素。
  从定义可知，隐马尔科夫模型做了两个基本假设：
（1）齐次马尔科夫性假设，即假设隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一个状态，与其他时刻的状态及观测无关，也与时刻t无关。

P(it|it−1,ot−1,...,i1,o1)=P(i1|it−1) P ( i t | i t − 1 , o t − 1 , . . . , i 1 , o 1 ) = P ( i 1 | i t − 1 )

（2）观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关。

P(ot|iT,oT,iT−1,oT−1,...,it+1,ot+1,it,it−1,ot−1,...,i1,o1)=P(i1|it−1) P ( o t | i T , o T , i T − 1 , o T − 1 , . . . , i t + 1 , o t + 1 , i t , i t − 1 , o t − 1 , . . . , i 1 , o 1 ) = P ( i 1 | i t − 1 )

  下面给出一个隐马尔科夫的例子。
  假设存在三个不同的骰子。第一个骰子是六面体（这里成为D6），每个面（1，2，3，4，4，5，6）出现的概率均为1/6。第二个骰子是个四面体（D4），每个面（1，2，3，4）出现的概率为1/4。第三个骰子是八面体（D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

  假设我们开始投掷骰子，我们先从三个骰子中挑一个挑到任何一个的概率均为1/3，然后投掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。我们不停的重复上述过程，我们便可以得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。比如我们投掷5次骰子得到五个数字1，6，3，5，2，这串数字叫做可见状态链。但是在隐马尔科夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。比如这个例子中的隐含状态链就有可能是D6,D8,D8,D6,D4 。
  一般来说，HMM说到的马尔科夫链其实是指隐马尔科夫链，因为隐含状态之间存在转换概率，在我们这个例子中D6的的下一个状态是D4,D6,D8的概率都是1/3。D4,D8的下一个状态是D4,D6,D8的概率也是1/3。我们假定是为了更好的说清楚，但是我们其实可以随意设定转换概率的。
同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有输出概率。如图所示


  如果提前知道所有隐含状态之间的转换概率和输出概率，做模拟是相当容易的。但对于缺失的信息做起来就相当麻烦了，需要一些算法进行处理，这些算法我们在后面讲解。

观测序列的生成过程

  输入：隐马尔科夫模型 λ=(A,B,π) λ = ( A , B , π ) ，观测序列长度T
  输出：观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) 。
  （1） 按照初始状态分布 π π 产生状态 i1 i 1
  （2） 令t=1
  （3） 按照状态 it i t 的观测概率分布 bit(k) b i t ( k ) 生成 ot o t
  （4）按照状态 it i t 的状态转移概率分布 { ait,it+1} { a i t , i t + 1 } 产生状态 it+1，it+1=1,2,...N i t + 1 ， i t + 1 = 1 , 2 , . . . N
  （5）令t=t+1；如果t

隐马尔科夫模型的3个基本问题

  （1）概率计算问题。给定模型 λ=(A,B,π) λ = ( A , B , π ) 和观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) ，计算在模型 λ λ 下序列O出现的概率 P(O|λ) P ( O | λ ) 。
  （2）学习问题。已知观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) ，估计模型 λ=(A,B,π) λ = ( A , B , π ) 参数，使得在该模型下观测序列概率 P(O|λ) P ( O | λ ) 最大。即使用极大似然估计的方法估计参数。
  （3）预测问题，也称为解码问题。已知模型 λ=(A,B,π) λ = ( A , B , π ) 和观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) ，求对给定观测序列条件概率 P(O|I) P ( O | I ) 最大的状态序列 I=(i1,i2,...,iT) I = ( i 1 , i 2 , . . . , i T ) 。
  接下来我们将逐一介绍这三个基本问题的解法。

概率计算方法

  在介绍前向算法和后向算法前，先介绍概念上可行但计算上不可行的直接计算法。

 直接计算法

  给定模型 λ=(A,B,π) λ = ( A , B , π ) 和观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) ，计算观测序列出现的概率 P(O|λ) P ( O | λ ) 。最直接的方法就是按照公式直接计算。通过列举所有可能的的长度为 T T 的序列 I=(i1,i2,...,iT) I = ( i 1 , i 2 , . . . , i T ) ，求各个状态序列 I I 与观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) 的联合概率 P(O,I|λ) P ( O , I | λ ) ,然后对所有可能的状态序列求和，得到 P(O|λ) P ( O | λ )
  状态序列 I=(i1,i2,...,iT) I = ( i 1 , i 2 , . . . , i T ) 的概率是

P(I|λ)=πi1ai1i2ai3i4...aiT−1iT P ( I | λ ) = π i 1 a i 1 i 2 a i 3 i 4 . . . a i T − 1 i T

  对于固定的状态序列 I=(i1,i2,...,iT) I = ( i 1 , i 2 , . . . , i T ) ，观测序列 O=(o1,o2,...,oT) O = ( o 1 , o 2 , . . . , o T ) 的概率是 P(O|I,λ) P ( O | I , λ ) ，

P(O|I,λ)=bi1(o1)bi2(o2)...biT(oT) P ( O | I , λ ) = b i 1 ( o 1 ) b i 2 ( o 2 ) . . . b i T ( o T )

   O O 和 I I 同时出现的联合概率为

P(O,I|λ)=P(O|I,λ)P(I|λ) P ( O , I | λ ) = P ( O | I , λ ) P ( I | λ )

  然后，对所有可能的状态序列 I I 求和，得到观测序列 O O 的概率，即

P(O,I|λ)=∑IP(O|I,λ)P(I|λ) P ( O , I | λ ) = ∑ I P ( O | I , λ ) P ( I | λ )

  但是，利用上式的计算量很大，这种算法不可行。下面介绍计算观测序列概率 P(O|λ) P ( O | λ ) 的有效算法：前向-后向算法。

 前向算法

  前向算法定义了一个前向概率隐马尔科夫模型的概念。给定 λ λ ，定义到时刻 t t 部分观测序列为 o1,o2,...,ot o 1 , o 2 , . . . , o t 且状态为 qi q i 的概率为前向概率，记作：

αt(i)=P(o1,o2,...,ot,it=qi|λ) α t ( i ) = P ( o 1 , o 2 , . . . , o t , i t = q i | λ )

  有了前向概率，我们就可以递推的求出前向概率 αt(i) α t ( i ) 及观测序列概率 P(O|λ) P ( O | λ ) 。具体地推过程为：

αt+1(i)=[∑j=1Nαt(j)aji]bi(ot+1) α t + 1 ( i ) = [ ∑ j = 1 N α t ( j ) a j i ] b i ( o t + 1 )

  其中 aji a j i 为转移概率，具体为：

aji=P(it+1=qi|it=qj) a j i = P ( i t + 1 = q i | i t = q j )

  而根据前向概率的定义：

at(i)=P(o1,o2,...,ot,it=qt|λ) a t ( i ) = P ( o 1 , o 2 , . . . , o t , i t = q t | λ )

  根据上面提到的齐次马尔科夫假设，有：

aji=P(it+1=qi|it=qj)=P(it+1qi|o1,o2,...,ot,it=qj) a j i = P ( i t + 1 = q i | i t = q j ) = P ( i t + 1 q i | o 1 , o 2 , . . . , o t , i t = q j )

  因此可以将 αt(j)aji α t ( j ) a j i 合并为：

P(o1,o2,...,ot,it=qj,it+1=qi|λ) P ( o 1 , o 2 , . . . , o t , i t = q j , i t + 1 = q i | λ )

  在经过求和符号处理之后，有：

∑j=1Nαt(j)αji=P(o1,o2,...,it+1=qi|λ) ∑ j = 1 N α t ( j ) α j i = P ( o 1 , o 2 , . . . , i t + 1 = q i | λ )

  然后递推式中 bi(ot+1) b i ( o t + 1 ) 的是观测概率，具体为：

bi(ot+1)=P(ot+1|it+1=qi)=P(ot+1|o1,o2,...,ot,it+1=qi) b i ( o t + 1 ) = P ( o t + 1 | i t + 1 = q i ) = P ( o t + 1 | o 1 , o 2 , . . . , o t , i t + 1 = q i )

  后面的连等成立是因为应用了前面提到的观测独立性假设。这样就有

αt+1(i)=P(o1,o2,...,ot,ot+1,...,it+1=qi|λ) α t + 1 ( i ) = P ( o 1 , o 2 , . . . , o t , o t + 1 , . . . , i t + 1 = q i | λ )

  最后为了得到 ，我们只要把马尔科夫状态序列的最后一个状态的所有前向概率进行求和就可以了，具体为：

P(O|λ)=∑i=1NαT(i)=P(o1,o2,...,ot,ot+1,...,oT|λ) P ( O | λ ) = ∑ i = 1 N α T ( i ) = P ( o 1 , o 2 , . . . , o t , o t + 1 , . . . , o T | λ )

 后向算法

  后向算法与前向算法类似，他定义了一个概念叫后向概率：给定隐马尔科夫模型 λ λ ，定义在时刻 t t 状态为 qi q i 的条件下，从 t+1 t + 1 到 T T 的部分观测序列为 ot+1,ot+2,...oT o t + 1 , o t + 2 , . . . o T 的概率为后向概率，记作

βt(i)=P(ot+1,ot+2,...oT|it=qi,λ) β t ( i ) = P ( o t + 1 , o t + 2 , . . . o T | i t = q i , λ )

  同样也可以用递推的方法求得后向概率及观测概率。由于和前向算法类似这里推导过程忽略，介绍下后向算法的步骤：
  输入：隐马尔科夫模型 λ λ ，观测序列 O O ；
  输出：观测序列概率 P(O|λ) P ( O | λ )

   1.

βT(i)=1,i=1,2,...,N β T ( i ) = 1 , i = 1 , 2 , . . . , N

  2. 对 t=T−1,T−2,...,1 t = T − 1 , T − 2 , . . . , 1

βT(i)=∑j=1Naijbj(ot+1)βt+1(j) β T ( i ) = ∑ j = 1 N a i j b j ( o t + 1 ) β t + 1 ( j )

   3.

P(O|λ)=∑i=1Nπibi(o1)β1(i) P ( O | λ ) = ∑ i = 1 N π i b i ( o 1 ) β 1 ( i )

  步骤1初始化后向概率，对最终时刻的所有状态 qi q i 规定 βT(i)=1 β T ( i ) = 1 。步骤2是后向概率的递推公式。步骤3求 P(O|λ) P ( O | λ ) 的思路与步骤2一致，只是初始概率代替转移概率。
  利用前向概率和后向概率的定义可以将观测序列概率 P(O|λ) P ( O | λ ) 统一写成

P(O|λ)=∑i=1N∑j=1Nαt(i)aijbj(ot+1)βt+1(j) P ( O | λ ) = ∑ i = 1 N ∑ j = 1 N α t ( i ) a i j b j ( o t + 1 ) β t + 1 ( j )

  此时当 t=1 t = 1 和 t=T−1 t = T − 1 时分别为式子

P(O|λ)=∑i=1NαT=P(o1,o2,...,ot,ot+1,...,oT|λ) P ( O | λ ) = ∑ i = 1 N α T = P ( o 1 , o 2 , . . . , o t , o t + 1 , . . . , o T | λ )

和

P(O|λ)=∑i=1Nπibi(o1)β1(i) P ( O | λ ) = ∑ i = 1 N π i b i ( o 1 ) β 1 ( i )

学习算法

  隐马尔科夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序列，可以分别由监督学习与非监督学习实现。接下来会先介绍监督学习算法，而后介绍非监督学习算法—— Baum−Welch B a u m − W e l c h 算法

 监督学习算法

  假设已给训练数据包含 S S 个长度相同的观测序列和对应的状态序列 {(O1,I1),(O2,I2),...,(OS,IS)} { ( O 1 , I 1 ) , ( O 2 , I 2 ) , . . . , ( O S , I S ) } ,那么可以利用极大似然法来估计隐马尔科夫模型的参数。具体方法如下：
   1. 转移概率 aij a i j 的估计
设样本中时刻 t t 处于状态i时刻 t+1 t + 1 转移状态 j j 的频数为 Aij A i j ，那么状态转移 aij a i j 的估计是

a^ij=Aij∑Nj=1Aij,i=1,2,...,N;j=1,2,...,N a ^ i j = A i j ∑ j = 1 N A i j , i = 1 , 2 , . . . , N ; j = 1 , 2 , . . . , N

   2. 观测概率 bj(k) b j ( k ) 的估计
设样本状态为 j j 并观测为 k k 的频数是 Bjk B j k ，那么状态为 j j 观测为 k k 的概率 bj(k) b j ( k ) 的估计为

b^j(k)=Bjk∑Mk=1Bjk,j=1,2,...,N;k=1,2,...,M b ^ j ( k ) = B j k ∑ k = 1 M B j k , j = 1 , 2 , . . . , N ; k = 1 , 2 , . . . , M

  3.初始状态概率 πi π i 的估计 π^i π ^ i 为 S S 个样本中初始状态为 qi q i 的频率由于监督学习需要使用训练数据，而人工标注训练数据往往代价更高，有时就会利用非监督学习的方法。

  Baum−Welch B a u m − W e l c h 算法

  学习问题即参数估计的问题的解决需要 Baum−Welch B a u m − W e l c h 算法，下面介绍 Baum−Welch B a u m − W e l c h 算法。
  已知观测序列 O O ，估计模型参数 λ λ ，使得在该模型下观测序列概率 P(O|λ) P ( O | λ ) 最大，由于状态序列未知，因此这可以看作是一个含有隐变量的参数估计问题，这一问题的解决依靠 EM E M 算法，而 Baum−Welch B a u m − W e l c h 算法就是 EM E M 算法在隐马尔科夫模型学习中的具体体现。
根据EM算法，我们需要先求出其Q函数，如下：

Q(λ,λ¯)=∑IlogP(O,I|λ)P(I|O,λ¯) Q ( λ , λ ¯ ) = ∑ I l o g P ( O , I | λ ) P ( I | O , λ ¯ )

  我们写出Q函数之后后面就要对它进行极大化，也就是说EM算法的M步骤。既然是最大化，那么只要保证不影响最终的结果，对Q函数进行最大化来说没有影响的常数因子乘除是可以的。我们注意到Q函数的后半部分为

P(I|O,λ¯)=P(O,I|λ¯)P(O|λ¯) P ( I | O , λ ¯ ) = P ( O , I | λ ¯ ) P ( O | λ ¯ )

而 P(O|λ) P ( O | λ ) 便是概率计算问题中我们解决的问题，对于固定的模型参数来说它是一个常量，因此我们为了后边计算方便可以在上面原先的 Q Q 函数的基础上乘以它，使得 Q Q 函数称为：

Q(λ,λ¯)=∑IlogP(O,I|λ)P(O,I|λ¯) Q ( λ , λ ¯ ) = ∑ I l o g P ( O , I | λ ) P ( O , I | λ ¯ )

  为什么要这么做呢？这是为了后面将概率计算问题中有意义的一些概率计算公式直接套进去。又因为完全数据可以写成这样：

logP(O,I|λ)=πi1bi1(o1)ai1ai2b(o2)...aiT−1iTbiT(oT) l o g P ( O , I | λ ) = π i 1 b i 1 ( o 1 ) a i 1 a i 2 b ( o 2 ) . . . a i T − 1 i T b i T ( o T )

  于是Q函数可以写成

Q(λ,λ¯)=∑i=1NlogπiP(O,i1=i|λ¯)+∑i=1N∑j=1N∑t=1T−1logaijP(O,it=i,it+1=j|λ¯)+∑j=1N∑t=1Tlogbj(ot)P(O,it=j|