数学之美笔记（四）

1. 通信的本质就是一个编解码和传输的过程。

2. 雅各布森通信六要素：发送者（信息源）、信道、接收者、信息、上下文和编码。

   

   其中s₁，s₂，s₃，...表示信息源发出的信号，o₁，o₂，o₃，...表示接收器接收到的信号。

   通信中的解码就是根据收到的信号o₁，o₂，o₃，...还原出发送的信号s₁，s₂，s₃，...。

   s₁，s₂，s₃，...=Arg Max P（s₁，s₂，s₃，...|o₁，o₂，o₃，...）。

   P（s₁，s₂，s₃，...|o₁，o₂，o₃，...）=P（o₁，o₂，o₃，...|s₁，s₂，s₃，...）·P（s₁，s₂，s₃...）/P（o₁，o₂，o₃，...）。

   其中P（o₁，o₂，o₃，...）是一个常数。

3. 马尔可夫过程（即马尔可夫链）：符合马尔可夫假设的随机过程，会产生状态序列s₁，s₂，s₃，...

4. 隐含马尔可夫模型：任一时刻t的状态s_t是不可见的，但在每个时刻t都会输出一个符号o_t，而且o_t和s_t相关且只和s_t相关（独立输出假设），其中隐含的状态s₁，s₂，s₃，...是一个典型的马尔可夫链。

   把P（o₁，o₂，o₃，...| s₁，s₂，s₃，...）= ∏  P（o_t | s_t），P（s₁，s₂，s₃...）= ∏ P（s_t| s_t-1）代入

   则P（s₁，s₂，s₃，...，o₁，o₂，o₃，...）= ∏ P（s_t| s_t-1）• P（o_t | s_t）。

5. 隐含马尔可夫模型的训练：计算生成概率P（o_t | s_t）和转移概率P（s_t | s_t-1）等马尔可夫模型的参数。

1. 有监督的训练方法（Supervised Training）：人工标记，统计次数；根据大数定律，相对频度等于概率

   P（o_t | s_t）=#（o_t，s_t）/#（s_t），P（w_i | w_i-1）=#（w_i-1，w_i）/#（w_i-1）

2. 无监督的训练方法——鲍姆-韦尔奇算法

   首先找到一组能够产生输出序列O的模型参数，生成一个初始模型M_θ0。需要在此基础上找到一个更好的模型。假定能够找到这个模型产生O的所有可能的路径以及这些路径的概率，它们是“标注的训练数据”，根据条件概率公式计算出新的模型参数θ1，从M_θ0到M_θ1为一次迭代。接下来，再从M_θ1触发，寻找一个更好的M_θ2，直至模型的质量没有明显的提高为止。

6. 期望值最大化过程（Expectation-Maximization，EM）：不断的估计模型参数使得输出的概率达到最大化的过程。

   鲍姆-韦尔奇算法是EM过程算法，EM算法一定能收敛到一个局部最优点，但一般不能保证找到全局最优点。

本文涉及到的人物及其著作：

安德烈 · 马尔可夫、鲍姆、贝克夫妇（James and Jane Baker）、李开复

《Statistical Methods for Speech Recogintion（Language，Speech，and Communication）》——弗里德里克 · 贾里尼克