斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机

作者：teeyohuang

邮箱：[email protected]

本文系原创，供交流学习使用，转载请注明出处，谢谢

声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来

          博文中部分图片和公式都来源于CS229官方notes。

          CS229的视频和讲义均为互联网公开资源

                                                        Lecture6

Lecture 6 的主要内容：

       ·multinomialevent model（多元伯努利事件模型）

       ·NeuralNetwork(神经网络)

       ·SupportVector Machine（支持向量机）

1、multinomialevent model（多项式事件模型）

 

就是让朴素贝叶斯中 的X能够取更多的值(在上一节Lecture中，我们的X只取1和0(存在/不存在)这两个值），可以有k个取值。可采用同样的方式进行建模，只是要注意，此时等号右边是多项式分布而不是伯努利分布了，因为X可以取多种值：

在多项式事件模型中，我们的参数为：

进而有：

对其进行拉普拉斯平滑之后：

2、Neural Network(神经网络)

       这里只是简要的介绍了一下神经网络，鉴于现在deep learning这么火，网上有很多专门讲神经网络的课程，我这里就不详细记录这部分的内容了，就一笔带过吧。吴老师在这里举了个mnist手写体识别的例子，也就是LeNet的例子，这样是我们现在学习深度学习的同学的一个入门级网络，堪称CNN中的“hello world”

3、SupportVector Machine（支持向量机）

   SVM可以说是统计学习时代一个很经典的算法了。

 ①Margins

              先来一些直观上的感觉：

              第一个例子，Logistic Regression

 

       第二个例子，线性可分平面的例子

我们能感受到，A点离我们的分割线很远，所以对于A点的分类是confident的，而C点十分靠近分割线，那么我们就觉得C点的分类有点不好，因为如果一旦分割线有所移动，C的分类就可能分到下面那堆点去！

所以我们希望，能够找到一个分隔线（平面），使得对每个样本点都是做出一个稳健的分类！

以上两个例子中，从直观上来看，我们希望样本点都能尽量远离分界标准，也即希望都离分界位置 有一定的 Margin。 下文我们会对Margin作函数上和几何上的解释。

     ②Notation（注释）

       我们先从一个线性分类器—--一个二分类器来谈起。

同时要注意，我们现在讨论的都是线性可分的情况。

③Functionaland geometric margins（函数间隔 和 几何间隔）

       Functional margins：

        Geometric margins.

Lecture6其实还简要谈了一点最优间隔分类器的内容，但主要放在Lecture7中讲解的，

所以我干脆写到Lecture7中去了。Lecture7继续在讲SVM（支持向量机）