每天五分钟机器学习:从数学向量角度理解支持向量机为何是大间距分类器

本文重点

上一节课程中我们学习了支持向量机,当C很大的时候,我们可以认为支持向量机是一个大间距分类器,本节课程我们从数学角度再来理解一下,这个原因是什么?

向量内积

每天五分钟机器学习:从数学向量角度理解支持向量机为何是大间距分类器_第1张图片

 如何计算u与v的内积呢?我们可以将向量v投影到向量u上,做一个直角投影或者说90°的投影将其投影到u上,这个投影的长度为p,那么此时的内积为v=p||u||

每天五分钟机器学习:从数学向量角度理解支持向量机为何是大间距分类器_第2张图片

p是有符号的,它可能为正值还可能为负值,比如下面的这样的图像p就是负值

每天五分钟机器学习:从数学向量角度理解支持向量机为何是大间距分类器_第3张图片

 

U与v的夹角大于90°,如果将v投影到u上,这样得到的投影p是负的,所以此时的p||u||是负的。

这以上就是关于向量内积的知识。我们接下来将会使用这些关于向量的内积的性质来试图理解支持向量机中的目标函数。

支持向量机的目标函数

上一节课程中我们知道,当C非常大的时候,支持向量机的目标函数如下所示:

你可能感兴趣的:(每天五分钟玩转机器学习算法,支持向量机,算法,人工智能,神经网络)