支持向量机-SVM

文章目录

    • 概念
    • 线性可分支持向量机
    • 线性分类问题
    • 目标函数的建立
    • 拉格朗日乘子法
    • 拉格朗日函数
    • 计算拉格朗日函数的对偶函数
    • SVM举例
    • 线性支持向量机
    • 从另一个角度看SVM-Hinge loss
    • 核函数

概念

支持向量机-SVM_第1张图片

线性可分支持向量机

支持向量机-SVM_第2张图片

线性分类问题

支持向量机-SVM_第3张图片
支持向量机-SVM_第4张图片

目标函数的建立

根据上述假设,输入的数据为
支持向量机-SVM_第5张图片
支持向量机-SVM_第6张图片
支持向量机-SVM_第7张图片
支持向量机-SVM_第8张图片
支持向量机-SVM_第9张图片
支持向量机-SVM_第10张图片
支持向量机-SVM_第11张图片

拉格朗日乘子法

支持向量机-SVM_第12张图片
列出的拉格朗日函数,还有不等式约束条件,参考KKT条件(参见连接link https://www.cnblogs.com/lengyue365/p/6281613.html
支持向量机-SVM_第13张图片

拉格朗日函数

支持向量机-SVM_第14张图片

计算拉格朗日函数的对偶函数

支持向量机-SVM_第15张图片
支持向量机-SVM_第16张图片
支持向量机-SVM_第17张图片
支持向量机-SVM_第18张图片
支持向量机-SVM_第19张图片

SVM举例

支持向量机-SVM_第20张图片
支持向量机-SVM_第21张图片
支持向量机-SVM_第22张图片
本例中可以看出,α1和α3不为零,则对应x1 x3样本是支持向量,α2为零,则x2不是支持向量。

线性支持向量机

对于数据线性不可分的数据,则增加松弛因子,修改约束条件
支持向量机-SVM_第23张图片
这里c值是调节了犯错误的容忍程度,C比较大时,过渡带(margin)比较窄,C比较小时过渡带比较宽。为了使大部分样本分析正确,而牺牲掉一下部分样本的正确性。
支持向量机-SVM_第24张图片
支持向量机-SVM_第25张图片
支持向量机-SVM_第26张图片

从另一个角度看SVM-Hinge loss

SVM 与 Hinge Loss 参考链接
link

核函数

你可能感兴趣的:(机器学习)