Andrew Ng机器学习课程笔记（十五）之无监督学习之混合贝叶斯模型与EM算法

Preface

Mixture of Naive Bayes Model（NBMM，混合朴素贝叶斯模型）
EM Algorithm for NBMM

Bernoulli

Mixture of Naive Bayes Model

NBMM是对朴素贝叶斯（Naive Bayes，NB，前面有一篇博文介绍）的一个推广。
回想到我们在那一篇博文中所讲述的文本分类的例子，即对于大小为m数据集$\{x^{(1)},x^{(2)},...,x^{(m)}\},x^{(i)}\in \{0,1{\}}^n$，例如$x_j^{(i)}$表示词语j是否在文档i中出现，然后我们对于$z^{(i)}$建模，希望找到当前邮件是否为垃圾邮件。
对于混合朴素贝叶斯模型，我们需要对大小为m无标记数据集$\{x^{(1)},x^{(2)},...,x^{(m)}\},x^{(i)}\in \{0,1{\}}^n$进行处理分类，我们隐含类别标签用$z^{(i)}$表示，并认为$z^{(i)}$服从参数为$\varphi$的伯努利分布，即为$z^{(i)}\sim Bernoulli(\varphi )$，且$z\in \{0,1\}$。
同时，$p(x^{(i)}|z^{(i)})={\prod }_{j=1}^{n}p(x_j^{(i)}|z^{(i)})$，具体的有$p(x_j^{(i)}=1|z^{(i)}=0)={\varphi }_{j|z^{(i)}=0}$。
整个模型简单描述为对于每个样例$x^{(i)}$，我们先从k 个类别中按多项式分布抽取一个$z^{(i)}$， 然后根据$z^{(i)}$所对应的 k 个多值伯努利分布中的一个生成样例$x^{(i)}$，。整个过程称作混合伯努利模型。
它的joint似然函数为：
$$\begin{array}{rl}L({\varphi }_z,{\varphi }_{j|z^{(i)}=1},{\varphi }_{j|z^{(i)}=0})& =\underset{i=1}{\prod ^m}logp(x^{(i)},y^{(i)})\end{array}$$
由于$z^{(i)}$未知，上式我们无法使用求偏导，并令其等于0求得${\varphi }_z,{\varphi }_{j|z^{(i)}=1},{\varphi }_{j|z^{(i)}=0}$参数。与GMM一样，我们使用EM算法来解决问题。

EM Algorithm for NBMM

回顾我们在上上一篇博文中提到的EM算法

Repeat until convergence{

1. (E-step) for each i, set
   $$\begin{array}{r}{w}_j^{(i)}:=Q_i(z^{(i)}=j):=p(z^{(i)}=j|x^{(i)};\theta )\end{array}$$
2. (M-step) set
   $$\begin{array}{r}\theta :=\text{arg}\underset{\theta }{\max }\sum _i\sum _{z^{(i)}}{Q}_i(z^{(i)})log\frac{p(x^{(i)},z^{(i)};\theta )}{Q_i(z^{(i)})}\end{array}$$
   ｝

使用NBMM中的${\varphi }_z,{\varphi }_{j|z^{(i)}=1},{\varphi }_{j|z^{(i)}=0}$参数替换一般化EM算法中的$\theta$参数，然后在依次解决$w_j^{(i)}$与${\varphi }_z,{\varphi }_{j|z^{(i)}=1},{\varphi }_{j|z^{(i)}=0}$参数的更新问题就好。

由于在上一篇博文Andrew Ng机器学习课程笔记（十四）之无监督学习之混合高斯模型与EM算法中我们已经详细推导过一遍EM算法在GMM中的具体化过程（在NBMM中推导过程相似，就不在重复了），这里我们直接给出NBMM的EM算法。

EM Algorithm for NBMM

将其具体应用到NBMM中就变成了：

EM Algorithm for NBMM的E-step与M-step为：

Repeat until convergence{

1. (E-step) for each i, set
   $$\begin{array}{r}{w}_j^{(i)}=P(z^{(i)}=1|x^{(i)};{\varphi }_z,{\varphi }_{j|z^{(i)}=1},{\varphi }_{j|z^{(i)}=0})\end{array}$$
   表示的含义为这是对当前文档属于哪一类的猜测。

2. (M-step) set

$$\begin{array}{r}{\varphi }_{j|z^{(i)}=1}:=\frac{{\sum }_{i=1}^m{w}^{(i)}1\{x_j^{(i)}=1\}}{{\sum }_{i=1}^m{w}^{(i)}}\end{array}$$

$$\begin{array}{r}{\varphi }_{j|z^{(i)}=0}:=\frac{{\sum }_{i=1}^m(1-w^{(i)})1\{x_j^{(i)}=1\}}{{\sum }_{i=1}^m(1-w^{(i)})}\end{array}$$

$$\begin{array}{r}{\varphi }_{z^{(i)}}:=\frac{{\sum }_{i=1}^m{w}^{(i)}}{m}\end{array}$$

｝