生成学习、高斯判别、朴素贝叶斯—斯坦福ML公开课笔记5

个人总结：

1、判别式算法与生成式算法，判别式算法就像是判官，说一不二，说你是啥就是啥，而生成式则是给你一个“模糊”的结果，他认为你有可能是任何一类，根据概率大小再决定你到底是什么。

2、高斯判别式主要是基于高斯概率分布假设的，所以当样本属性基本满足高斯分布时，运用该模型会得到非常不错的效果，相反如果不满足高斯分布，则效果会比较差。

3、英文原版讲义中有介绍多元高斯分布中均值和协方差矩阵值对图像的影响，通过观察可以直观发现均值主要控制对称轴位置的，而协方差矩阵主要控制峰值高低与“钟形”拉伸等变化。

4、关于高斯判别式与逻辑回归模型的联系，也就是公式(14)怎么转化为公式(15)的，我这里简单推导了一下（自己推导的，不知道对不对）：

这个公式其实没推导完整，再往下应该推导为（???*X）的形式，感觉没必要了，逻辑回归模型确实强大。

5、朴素贝叶斯，提到它，应该第一反应就是反垃圾邮件，整个实现过程比较简单也容易理解，基本找到公式中每项对应的模型概率就可以了，公式中分母p(x)是不需要计算的，因为无论是对哪一个类求概率，p(x)都是一样的，所以只需比较分子大小即可，朴素贝叶斯中的“朴素”就是将贝叶斯理念进行简化，比如在文档处理中，我们认为每个词之间都是独立出现的，虽然这不符合实际，但大量事实证明，效果还是理想的。

6、对于高斯判别式与逻辑回归模型的比较上文作者没有给出相应的介绍，建议这一部分读一读原文讲义，高斯判别式属于强模型假设，所以在保证模型确实是或差不多是高斯分布的时候，它的效果最好，而且可以用很少的训练集就可以生成很不错的模型，相比之下逻辑回归对模型的假设不是很强，当数据模型确定不是高斯分布时通常会选择逻辑回归或朴素贝叶斯算法。

7、对于连续值的处理，我们首先要做离散化处理，比如讲义中举得例子，将房子面积值看做一个连续值，通过设置区间法将其离散化再用朴素贝叶斯进行多分类，此时就不要使用高斯判别式了，理由很简单，此时数据模型明显不是高斯分布的。

8、实际上对贝叶斯文本分类还会涉及到很多细节的问题，比如过滤停用词，词袋模型，以及概率取对数等。贝叶斯道理简单，也容易实现，效果还不错，所以很受人喜欢。

9、拉普拉斯平滑实际上我认为是纯碎数学上的一个东西，类似手法其实很常见，比如TF-IDF算法中就是这么干的，加一个常数项避免0值。本身没有什么实际模型意义，只是数学计算上的一种小技巧吧