传说中的Markov"不过如此”

　　因为看一篇题为 Passive Measurement of Interference in WiFi Network with Application in Misbehavior Detection的文章，学习了马尔科夫模型。之前一直主观觉得马尔科夫模型太难，看过之后其实不过如此，恰恰相反，这个模型本身还简化了原本复杂的概率网络。《模式识别》对马尔科夫和隐马尔可夫介绍得非常详尽易懂。马尔科夫模型是一个非常useful的工具。

 

几个重要概念：

马尔可夫假设：在一个随着时间观测到的对象序列中，T时刻观测到某对象的概率只和T-1时观测到的对象有关系。

马尔科夫模型的表示：

　　S：状态转换图中的状态集合

　　A：状态转移概率矩阵，aij表示从状态i迁移到状态j的概率

　　B：bij表示在状态i上观测到对象vj的概率

　　p：初始状态上观测到各值的概率，是一个向量

马尔科夫的三个核心问题：

　　估值问题（evaluation）: 已知markov模型，和序列V，求观测到该序列的概率

　　解码问题（decoding）：已知模型和t时刻观测到的Vt，求最可能观测到的序列

　　学习问题（Learning）：已知状态集合S和观测序列V，求模型的各参数A，B，p

 

下面是evaluation代码（解码过程类似），前向算法

 

%% HMM model: A, B, initialstate, finalstate, 

%state transition propability

A=[1    0   0   0; 

   0.2  0.3 0.1 0.4;

   0.2  0.5 0.2 0.1;

   0.8  0.1 0.0 0.1

   ];

%b_jkv(t): v(t)'s occupation probability when the current state is w_j in time t

B=[1    0   0   0   0;

   0    0.3 0.4 0.1 0.2;

   0    0.1 0.1 0.7 0.1;

   0    0.5 0.2 0.1 0.2

    ];



final_state=1; %the final state

init_state=2; %the initial state





%% observed sequence

V=[2,4,3,1]; %visable sequence, v1 is the empty visable symbol.

% # of states

c=size(A);

% # of time slots

T=length(V);



%% HMM forward algorithm : for evaluation problem of HMM: give a HMM model, calculate P(V)

a=zeros(c, T);

for t=1:T

        for j=1:c

            if t==1

                a(j, t)=1*A(init_state, j)*B(j, V(t));

            else

                sum=0;

                for i=1:c

                    sum=sum+a(i, t-1)*A(i, j);

                end

                a(j, t) = B(j, V(t))*sum;

            end

        end

end

a(1, T)

学习问题：在MATLAB中集成了hmmestimate等函数，可以完成各种问题的解决。

 

summary: markov其实大致分为两部分，一部分是理解状态图中的概率迁移，以及markov假设；一部分是具体实现，由于markov问题的高复杂度，才出现了前向、后向算法，而那些算法的目的只是在多项式复杂度内进行求解。