7.线性SVM(Maximum margin )

支持向量机算法support vector machine(SVM),被视为感知器perceptron的扩展。perceptron的目的是最小化代价函数计算出来的误差,而SVM的思想是最大化边界(Margin),边界是分类的超平面和对应类别最近的样本点之间的距离

7.线性SVM(Maximum margin )_第1张图片
支持向量图示

大的边界意味着泛化能力很强

7.线性SVM(Maximum margin )_第2张图片
Paste_Image.png

处理非线性可分的情况

引进松弛变量(slack variables),这个变量来调节对于误差的容忍度

7.线性SVM(Maximum margin )_第3张图片
Paste_Image.png
7.线性SVM(Maximum margin )_第4张图片
Paste_Image.png

对比线性SVM和Logistic回归
Logistic回归是最大化似然函数
SVM关注的是决定决策边界的支持向量

你可能感兴趣的:(7.线性SVM(Maximum margin ))