高斯判别分析(GDA)和朴素贝叶斯(NB)

生成模型和判别模型

监督学习一般学习的是一个决策函数$y=f(x)$或者是条件概率分布$p(y|x)$。

判别模型直接用数据学习这个函数或分布，例如Linear Regression和Logistic Regression。
生成模型是先用数据学习联合概率分布$p(x,y)$，然后使用贝叶斯公式求$p(y|x)$
$$p(y|x)=\frac{p(y)p(x|y)}{p(x)}$$
$$y=\arg \underset{y}{\max }p(y|x)$$
又$y$不影响$p(x)$，故
$$y=\arg \underset{y}{\max }p(y)p(x|y)$$

高斯判别分析

假设：
$$\begin{gathered} y\sim Bernoulli(\varphi ) \\ x|y=0\sim \mathcal{N}({\mu }_0,\Sigma ) \\ x|y=1\sim \mathcal{N}({\mu }_1,\Sigma ) \end{gathered}$$
那么$$\begin{gathered} p(y)={\varphi }^y(1-\varphi {)}^{(1-y)} \\ p(x|y=0)=\frac{1}{2{\pi }^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)\right) \\ p(x|y=1)=\frac{1}{2{\pi }^{n/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)\right) \end{gathered}$$
于是使用极大似然估计求得参数${\mu }_0,{\mu }_1,\Sigma ,\varphi$
最终GDA模型如下：

朴素贝叶斯模型

在朴素贝叶斯模型中我们假设给定$y$，所有的特征$x_1,x_2,\dots ,x_n$都是独立的，这是一个非常重要的假设。有了这个假设，我们就可以很方便的求解$p(x|y)$了，而$y$服从伯努利分布，$p(x,y)$也就有了。
$$p(x|y)=p(x_1|y)p(x_2|y)\dots p(x_n|y)$$
对于离散情况，我们假定$p(x_i|y)$服从多项式分布(包括二项式分布)。
对于连续情况，我们假定$p(x_i|y)$服从高斯分布。
然后使用极大似然估计求解模型中参数，最后使用$y=\arg {\max }_{y}p(x,y)$求得$y$。

在连续情况下，我们一般使用高斯判别分析；在离散情况下，则使用朴素贝叶斯模型。

转载博客：高斯判别分析(GDA)和朴素贝叶斯(NB)