斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机

作者:teeyohuang

邮箱:[email protected]

本文系原创,供交流学习使用,转载请注明出处,谢谢

声明:此系列博文根据斯坦福CS229课程,吴恩达主讲 所写,为本人自学笔记,写成博客分享出来

          博文中部分图片和公式都来源于CS229官方notes。

          CS229的视频和讲义均为互联网公开资源


                                                        Lecture6

Lecture 6 的主要内容:

       ·multinomialevent model(多元伯努利事件模型)

       ·NeuralNetwork(神经网络)

       ·SupportVector Machine(支持向量机)


1、multinomialevent model(多项式事件模型)

 

就是让朴素贝叶斯中 的X能够取更多的值(在上一节Lecture中,我们的X只取1和0(存在/不存在)这两个值),可以有k个取值。可采用同样的方式进行建模,只是要注意,此时等号右边是多项式分布而不是伯努利分布了,因为X可以取多种值:

在多项式事件模型中,我们的参数为:

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第1张图片

进而有:

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第2张图片

对其进行拉普拉斯平滑之后:

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第3张图片


2、Neural Network(神经网络)

       这里只是简要的介绍了一下神经网络,鉴于现在deep learning这么火,网上有很多专门讲神经网络的课程,我这里就不详细记录这部分的内容了,就一笔带过吧。吴老师在这里举了个mnist手写体识别的例子,也就是LeNet的例子,这样是我们现在学习深度学习的同学的一个入门级网络,堪称CNN中的“hello world”


3、SupportVector Machine(支持向量机)

   SVM可以说是统计学习时代一个很经典的算法了。

 ①Margins

              先来一些直观上的感觉:

              第一个例子,Logistic Regression

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第4张图片

 

       第二个例子,线性可分平面的例子

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第5张图片

我们能感受到,A点离我们的分割线很远,所以对于A点的分类是confident的,而C点十分靠近分割线,那么我们就觉得C点的分类有点不好,因为如果一旦分割线有所移动,C的分类就可能分到下面那堆点去

所以我们希望,能够找到一个分隔线(平面),使得对每个样本点都是做出一个稳健的分类

以上两个例子中,从直观上来看,我们希望样本点都能尽量远离分界标准,也即希望都离分界位置 有一定的 Margin。 下文我们会对Margin作函数上和几何上的解释。

     ②Notation(注释)

       我们先从一个线性分类器—--一个二分类器来谈起。

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第6张图片

同时要注意,我们现在讨论的都是线性可分的情况。

③Functionaland geometric margins(函数间隔 和 几何间隔)

       Functional margins

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第7张图片

        Geometric margins.

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第8张图片

斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机_第9张图片

Lecture6其实还简要谈了一点最优间隔分类器的内容,但主要放在Lecture7中讲解的,

所以我干脆写到Lecture7中去了。Lecture7继续在讲SVM(支持向量机)

你可能感兴趣的:(机器学习,CS229-吴恩达机器学习笔记,机器学习,CS229)