贝叶斯网络

贝叶斯网络

• 目标

1. 定义

贝叶斯网络是一种有向无环图:
$G=(V,E)$ where:
One node i for each random variable $V_i$
One conditional probabillity distribution pre node:
$Pr(V_i|V_{pa(i)})$

$$Pr(V_1,V_2,\cdots ,V_n)=\prod _{i\in [n]}Pr(V_i|V_{pa(i)})$$

贝叶斯网络的有向无环图中的节点表示随机变量：
$\{X_1,X_2,\cdots ,X_n\}$
他们可以是可观察到的变量或因变量、未知参数等。认为有因果关系（非条件独立）的变量或命题则用箭头连接。若两个节点间以一个单箭头连在一起，表示其中一个节点是"因（parents）"，另一个是“果（children）”，两节点就会产生一个条件概率置。

2. 作用

把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量，用箭头表示条件依赖。

• 条件独立

4. 表现：

a. 图结构能够反映两个变量间的条件独立性
b. 如果两个变量是条件独立的，图中没有这两个节点的连线

5. 独立定义：

   $$Pr(A,B)=Pr(A)Pr(B)$$
   $$Pr(A|B)=Pr(A)$$
   $$Pr(B|A)=Pr(B)$$

6. 条件独立定义

   $$Pr(A,B|C)=Pr(A|C)Pr(B|C)$$
   $$Pr(A|B,C)=Pr(A|C)$$
   $$Pr(B|A,C)=Pr(B|C)$$

7. 贝叶斯网络的3中结构形式

   a. 尾对尾

   图：

   
   

   b. 头对尾

   图：

   
   

   c. 头对头

   图：

   
   

• 马尔科夫链

  根据之前对"头对尾"的讲解，我们已经直到，在给定$x_{i+1}$的情况下，$x_{i+1}$的分布和$x_1,x_2,\cdots ,x_{-1}$条件独立。意味着：$x_{i+1}$的分布状态和$x_i$有关，和其他变量条件独立。通俗讲，当前状态指与上一个状态有关，跟上上或上上之前的状态无关。这种顺序演变的随机过程，就叫做马尔科夫链。且有
  $$P(X_{n+1}=x|X_0,\cdots ,X_n)=P(X_{n+1}=x|X_n)$$

  我们为以上的一阶马尔科夫过程定义了三个重要组成部分：

  1. 初始状态：晴天、阴天
  2. 初始向量：定义系统在时间为0的时候的状态的概率
  3. 状态转移矩阵：每种天气转换的概率，所有的能被这样描述的系统都是一个马尔科夫过程

• 隐马可夫链

1. 隐马可夫链的三大问题

   1. 知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子投出的结果（可见状态链），我想知道掷出这个结果的概率–>验证问题（Evaluation）
   2. 知道骰子有几种(隐含状态数量)、每种筛子是什么(转换概率)，根据掷骰子投出的结果（可见状态链），我想知道每次掷出的都是哪种骰子（隐含状态链）–>识别问题（Recognition）
   3. 还是知道骰子有几种（隐含状态数量），不知道每种骰子是什么（转换概率），观测到很多次掷骰子的结果（可见状态链），我们反推出每种筛子是什么（转换概率）–>训练问题（Training）

2. 实例

   图

   
   

   验证：已知整个模型，我们连续三天做的事情是：散步、购物、收拾。那么，根据模型，计算产生这些行为的概率是多少

   识别：同样知晓这个模型，同样是这三件时间，我想猜，这三天的天气是怎样的

   训练：最复杂的，我们知道三天做了这三件事，而其他什么信息都没有，我得建立一个模型，晴雨转换概率，第一天天气情况的概率分布，根据天气情况选择做某事的概率分布。

3. 解决方法

   问题一：遍历算法

   1. 枚举所有可能的状态序列:$Q=q_1{q}_2{q}_3\cdots q_n$
   2. 对于样本序列Q:
      $$P(O|Q,\lambda )=\prod _{t=1}^{T}P(O_t|q_t,\lambda )=\prod _{t=1}^T{b}_{q_t{O}_t}$$
   3. 状态序列Q的概率是：
      $$P(Q|\lambda )=P(q_1)\prod _{t=2}^{T}P(q_t|q_{t-1})={\pi }_{q_1}\prod _{t=2}^T{a}_{q_{t-1}{q}_t}$$
   4. 联合密度概率
      $$P(O,Q|\lambda )=P(Q|\lambda )P(O|Q,\lambda )={\pi }_{q_1}\prod _{t=2}^T{a}_{q_{t-1}{q}_t}\prod _{t=1}^T{b}_{q_t}{O}_t$$>问题一：向前算法
   5. 计算边缘概率
      $$P(O|\lambda )=\sum _Q{\pi }_{q_1}{b}_{q_1{O}_1}\prod _{t=2}^T{a}_{q_{t-1}{q}_t}{b}_{q_t{O}_t}$$

   问题一：前向算法

   1. 定义向前变量$a_j(t)$代表部分观察序列的概率。已知时刻t与t时刻的状态$S_j$的情况下有：
      $$a_j(t)=P(O_1{O}_2\cdots O_t,q_t=S_j|\lambda )$$

   2. 可以递归计算如下：
      $$a_j(1)={\pi }_j{b}_{j{O}_1}$$
      $$a_j(t+1)=(\sum _{i=1}^N{a}_i(t)a_{ij})b_{j{O}_{t+1}}$$

   3. 计算联合概率
      $$P(O|\lambda )=\sum _{i=1}^{T}P(O,q_T=S_i|\lambda )=\sum _{i=1}^T$$

   问题一：向后算法

   1. 定义向后变量${\beta }_i(t)$如下：
      $${\beta }_i(t)=P(O_{t+1}{O}_{t+2}\cdots O_T|q_t=S_i,\lambda )$$
   2. 递归计算如下：
      $${\beta }_i(T)=1$$
      $${\beta }_i(t-1)=\sum _{j=1}^N{a}_{ij}{b}_{j{O}_t}{\beta }_j(t)$$
   3. 计算联合概率即可
      $$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_{i{O}_1}{\beta }_i(1)$$

   问题二：Viterbi算法

   1. 计算最优序列意味着计算$arg\max_QP(Q|O,\lambda),等价于 $arg{\max }_{Q}P(Q,O|\lambda )$
   2. 算法定义${\delta }_j(t)$,代表长度为t的路径的最优概率：
      $${\delta }_j(t)=\underset{q_1,q_2,\cdots ,q_{t-1}}{\max }P(q_1{q}_2\cdots q_t=j,O_1{O}_2\cdots O_t|\lambda )$$
   3. 递归计算
      $${\delta }_j(1)={\pi }_j{b}_{j{O}_1}$$
      $${\delta }_j(t+1)=(\underset{i}{\max }{\delta }_i(t)a_{ij})b_j{O}_{t+1}$$
   4. 回溯获取最优解

   问题三：Baum-Welch算法

   1. 可以选择 $$\lambda =(A,B,\pi )$$局部最优化$P(O|\lambda )$
   2. 我们需要定义${\eta }_{ij}(t)$如下:
      $${\eta }_{ij}(t)=P(q_t=S_i,q_{t+1}=S_j|O,\lambda )$$

4. 词性标注