数据学习(3)·生成学习算法

作者课堂笔记整理，[email protected]

Preview

• 判别和生成模型
• 高斯判别分析
• 朴素贝叶斯

两种学习方法

分类输入的数据x,成两个类别$y\in \{0,1\}$

判别学习算法

该算法学习条件概率$p(y|x)$或者直接学习函数映射。
举例：线性回归，Logistic回归，K近邻…

生成学习算法

该学习算法学习联合概率$p(x,y)$。

• 生成算法学习$p(x|y),p(y)$。
• $p(y)$称为先验概率。
• 使用Bayes规则，转变$p(y|x)$。

贝叶斯法则

$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$
$$argma{x}_{y}p(y|x)=argma{x}_y\frac{p(x|y)p(y)}{p(x)}=argma{x}_{y}p(x|y)p(y)$$
没有必要计算p(x).

1 生成模型

生成分类算法：

• 连续输入：高斯判别分析
• 离散输入：朴素贝叶斯

---

1.1 多元高斯分布$N(\mu ,\Sigma )$

• $\mu \in R^n$是平均算法
• $\Sigma \in R^{n\times n}$是协方差矩阵，$\Sigma$是对称的和SPD。
  $$p(x;\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}{e}^{\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}$$
  $$E[X]=\mu ,Cov(x)=E[(X-E(X))(X-E[X]{)}^T]=\Sigma$$

1.2 高斯判别分析（GDA）

给定参数$\varphi ,{\mu }_0,{\mu }_1,\Sigma$
$$y\sim Bernoulli(\varphi )x|y=0\sim N({\mu }_0,\Sigma )x|y=1\sim N({\mu }_1,\Sigma )$$
$$p(y)={\varphi }^y(1-\varphi {)}^{1-y}$$
$$p(x|y=0)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}{e}^{\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)}$$
$$p(x|y=1)=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}{e}^{\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)}$$
Log 数据似然函数：
$$I(\varphi ,{\mu }_0,{\mu }_1,\Sigma )=log\prod _{i=1}^{m}p(x^{(i)},y^{(i)};\varphi ,{\mu }_0,{\mu }_1,\Sigma )=log\prod _{i=1}^{m}p(x^{(i)}|y^{(i)});{\mu }_0,{\mu }_1,\Sigma )p(y^{(i)};\varphi )$$
最大似然函数估计：

$$\begin{array}{rl}l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )& =log\prod _{i=1}^{m}p(x^{(i)},y^{(i)})=log\prod _{i=1}^{m}p(x^{(i)}|y^{(i)})p(y^{(i)})\\ & =\sum _{i=1}^{m}logp(x^{(i)}|y^{(i)})+\sum _{i=1}^{m}logp(y^{(i)})\\ & =\sum _{i=1}^{m}log(p(x^{(i)}|y^{(i)}=0{)}^{1-y^{(i)}}\ast p(x^{(i)}|y^{(i)}=1{)}^{y^{(i)}})+\sum _{i=1}^{m}logp(y^{(i)})\\ & =\sum _{i=1}^m(1-y^{(i)})logp(x^{(i)}|y^{(i)}=0)+\sum _{i=1}^m{y}^{(i)}logp(x^{(i)}|y^{(i)}=1)+\sum _{i=1}^{m}logp(y^{(i)})\end{array}$$
对$\varphi$求导：
$$\begin{array}{rl}\frac{\partial l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )}{\partial \varphi }& =\frac{{\sum }_{i=1}^{m}logp(y^{(i)})}{\partial \varphi }\\ & =\frac{\partial {\sum }_{i=1}^{m}log{\varphi }^{y^{(i)}}(1-\varphi {)}^{1-y^{(i)}})}{\partial \varphi }\\ & =\frac{\partial {\sum }_{i=1}^m{y}^{(i)}log\varphi +(1-y^{(i)})log(1-\varphi )}{\partial \varphi }\\ & =\sum _{i=1}^m(y^{(i)}\frac{1}{\varphi }-(1-y^{(i)})\frac{1}{1-\varphi })\\ & =\sum _{i=1}^m(I(y^{(i)}=1)\frac{1}{\varphi }-I(y^{(i)}=0)\frac{1}{1-\varphi })\end{array}$$
上式等于0，可得：
$$\begin{array}{r}\varphi =\frac{I(y^{(i)}=1)}{I(y^{(i)}=0)+I(y^{(i)}=1)}=\frac{{\sum }_{i=1}^{m}I(y^{(i)}=1)}{m}\end{array}$$
对${\mu }_0$求导：
$$\begin{array}{rl}\frac{\partial l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )}{\partial {\mu }_0}& =\frac{\partial {\sum }_{i=1}^m(1-y^{(i)})logp(x^{(i)}|y^{(i)}=0)}{\partial {\mu }_0}\\ & =\frac{\partial {\sum }_{i=1}^m(1-y^{(i)})(log\frac{1}{\sqrt{(2\pi {)}^n|\Sigma |}}-\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0))}{\partial {\mu }_0}\\ & =\sum _{i=1}^m(1-y^{(i)})({\Sigma }^{-1}(x^{(i)}-{\mu }_0))\\ & =\sum _{i=1}^{m}I(y^{(i)}=0){\Sigma }^{-1}(x^{(i)}-{\mu }_0)\end{array}$$
上式等于0:
$$\begin{array}{r}{\mu }_0=\frac{{\sum }_{i=1}^{m}I(y^{(i)}=0)x^{(i)}}{{\sum }_{i=1}^{m}I(y^{(i)}=0)}\end{array}$$
$$\begin{array}{r}{\mu }_1=\frac{{\sum }_{i=1}^{m}I(y^{(i)}=1)x^{(i)}}{{\sum }_{i=1}^{m}I(y^{(i)}=1)}\end{array}$$
$$\begin{array}{rl}& \sum _{i=1}^m(1-y^{(i)})logp(x^{(i)}|y^{(i)}=0)+\sum _{i=1}^m{y}^{(i)}logp(x^{(i)}|y^{(i)}=1)\\ & =\sum _{i=1}^m(1-y^{(i)})(log\frac{1}{\sqrt{(2\pi {)}^n|\Sigma |}}-\frac{1}{2}(x^{(i)}-{\mu }_0{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_0))+\sum _{i=1}^m{y}^{(i)}(log\frac{1}{\sqrt{(2\pi {)}^n|\Sigma |}}-\frac{1}{2}(x^{(i)}-{\mu }_1{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_1))\\ & =\sum _{i=1}^{m}log\frac{1}{\sqrt{(2\pi {)}^n|\Sigma |}}-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}})\\ & =\sum _{i=1}^m(-\frac{n}{2}log(2\pi )-\frac{1}{2}log(|\Sigma |))-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}}{)}^T{\Sigma }^{-1}(x^{(i)}-{\mu }_{y^{(i)}})\end{array}$$
进而对$\Sigma$求导：
$$\begin{array}{rl}\frac{\partial l(\varphi ,{\mu }_0,{\mu }_1,\Sigma ))}{\partial \Sigma }& =-\frac{1}{2}\sum _{i=1}^m(\frac{1}{|\Sigma |}|\Sigma |{\Sigma }^{-1})-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T\frac{\partial {\Sigma }^{-1}}{\partial \Sigma }\\ & =-\frac{m}{2}{\Sigma }^{-1}-\frac{1}{2}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T(-{\Sigma }^{-2}))\end{array}$$
$$\begin{array}{r}\frac{\partial |\Sigma |}{\partial \Sigma }=|\Sigma |{\Sigma }^{-1}\end{array}$$
$$\begin{array}{r}\frac{\partial {\Sigma }^{-1}}{\partial \Sigma }=-{\Sigma }^{-2}\end{array}$$
上式为0求得：
$$\begin{array}{r}\Sigma =\frac{1}{m}\sum _{i=1}^m(x^{(i)}-{\mu }_{y^{(i)}})(x^{(i)}-{\mu }_{y^{(i)}}{)}^T\end{array}$$

---

1.3 高斯判别模型和Logistic回归

$p(y=1|x;{\mu }_0,{\mu }_1,\Sigma )$可以被写成：
$$p(y=1|x;\varphi ,\Sigma ,{\mu }_0,{\mu }_1)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
$$\theta =\left[\begin{array}{c}log\frac{1-\varphi }{\varphi }-\frac{1}{2}({\mu }_0^T{\Sigma }^{-1}{\mu }_0-{\mu }_1^T{\Sigma }^{-1}{\mu }_1)\\ {\Sigma }^{-1}({\mu }_0-{\mu }_1)\end{array}\right]$$

---

GDA:

• 最大化联合似然函数：${\prod }_{i=1}^{m}p(x^{(i)},y^{(i)})$
• 模型假设：$x|y=b\sim N({\mu }_b,\Sigma ),y\sim Bernoulli(\varphi )$
• 当假设正确时，GDA渐进有效，数据有效。

Logistic:

• 最大化条件概率${\prod }_{i=1}^{m}p(y^{(i)}|x^{(i)})$。
• 模型假设：$p(y|x)$是Logistic函数。
• 对不太正确的建模假设更加稳健和不太敏感。

---

1.4 朴素贝叶斯

是一种针对离散输入的一个简单的生成学习算法。
实战：垃圾邮件分类

项目源代码：
给出每封信x,判断是否属于垃圾邮件（y=0或者y=1）
每封信的词由一个字典维度大小的向量代表，$x_i=1$表示第i个词在这封信中，反之则不在。

朴素贝叶斯模型

朴素贝叶斯假设：
$$p(x_1,x_2,...x_n|y)=\prod _{i=1}^{n}p(x_i|y)$$
参数学习：
多变量伯努利事件模型：
$$p(x,y)=p(y)\prod _{i=1}^{n}p(x_i|y)$$

• 假设垃圾邮件和非垃圾邮件是随机的，$p(y)={\varphi }_y$
• 给出y,每封信中的单词可以表示成$p(x_i=1|y)={\varphi }_{i|y}$

最大似然：
$$L=\prod _{i=1}^{n}p(x^{(i)},y^{(i)})$$
由此可以求出最大似然估计的各个参数值。
进行预测
给一个新的样本，计算$p(y=1|x)$:
$$p(y=1|x)=\frac{p(x|y=1)p(y=1)}{p(x)}=\frac{p(x|y=1)p(y=1)}{p(x|y=1)p(y=1)+p(x|y=0)p(y=0)}$$
$$...=\frac{{\prod }_{i=1}^{n}p(x_i|y=1)p(y=1)}{{\prod }_{i=1}^{n}p(x_i|y=1)p(y=1)+{\prod }_{i=1}^{n}p(x_i|y=0)p(y=0)}$$
如果$p(y=1|x)>0.5,y=1$.

---

拉普拉斯平滑

• 如果一个新的单词没有出现在训练集中，所以导致${\varphi }_{i|y=1}={\varphi }_{i|y=0}$,导致不能计算$p(y=1|x)=\frac{0}{0}$
  定义符号：
  $n_1$ ：在所有垃圾邮件中单词$x_1$出现的次数。如果$x_1$ 没有出现过，则$n_1=0$。
  n：属于$c_1$类的所有文档的出现过的单词总数目。
  得到公式$p(x_1|c_1)=n_1/n$
  而拉普拉斯平滑就是将上式修改为：
  $p(x_1|c_1)=(n_1+1)/(n+N)$
  $p(x_2|c_1)=(n_2+1)/(n+N)$
  其中，N是所有单词的数目。修正分母是为了保证概率和为1。

---

2 练习二次判别分析

源代码:https://github.com/Miraclemin/Quadratic-Discriminant-Analysis