Andrew Ng chapter13 SVM

支持向量机(从逻辑回归出发)
Andrew Ng chapter13 SVM_第1张图片
Andrew Ng chapter13 SVM_第2张图片
Andrew Ng chapter13 SVM_第3张图片
与逻辑回归相比,输出的就不再是概率值,而是0或者1
Andrew Ng chapter13 SVM_第4张图片
Andrew Ng chapter13 SVM_第5张图片
Andrew Ng chapter13 SVM_第6张图片
Andrew Ng chapter13 SVM_第7张图片
大间隔分类器,但是仅有C足够大的时候,才能达到严格意义上的大间隔。

大间隔分类器的数学原理

Andrew Ng chapter13 SVM_第8张图片
两个向量的内积
Andrew Ng chapter13 SVM_第9张图片
Andrew Ng chapter13 SVM_第10张图片
实际上,Thera和decision boundary是相互垂直的,目标是使得P足够大,才能最小化cost function

核函数

Andrew Ng chapter13 SVM_第11张图片
对于复杂的decision boundary 改变feature使得算法更加强大。核函数就是相似度函数。
Andrew Ng chapter13 SVM_第12张图片
Andrew Ng chapter13 SVM_第13张图片
Andrew Ng chapter13 SVM_第14张图片
Andrew Ng chapter13 SVM_第15张图片
Andrew Ng chapter13 SVM_第16张图片
一般对于标记点的选择,原则上是和样本量相对应的,这样就可以保证特征函数基本上在描述每一个样本距离其它集中样本的问题,特征向量是在确定了标记点和核函数后经过一些变换产生的。
Andrew Ng chapter13 SVM_第17张图片
当样本量很大时,正则那项公式要稍加变化,乘上一个矩阵,使得计算更加高效。

参数影响

Andrew Ng chapter13 SVM_第18张图片
Andrew Ng chapter13 SVM_第19张图片
线性核函数就是没有核函数,再核函数处理前,需要做归一化处理,不然会被数值较大的特征所影响。

Andrew Ng chapter13 SVM_第20张图片
满足默赛尔定理的核函数理论上都可以使用。
Andrew Ng chapter13 SVM_第21张图片

如何选择算法

Andrew Ng chapter13 SVM_第22张图片

你可能感兴趣的:(网课学习)