吃瓜笔记---第六章 支持向量机

注:本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得,可能只有自己能看懂,鉴于本人水平有限,有极大可能出现错误,欢迎读者批评指正 

1、支持向量机(support vector machine,SVM)

        支持向量机是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使他有别于感知机。支持向量机的学习策略就是间隔最大化,也可形式化为求解一个凸二次规划问题。

2、间隔与支持向量

吃瓜笔记---第六章 支持向量机_第1张图片

对于(6.5)式,可以写成以下形式

\underset{w,b}{min} \frac{1}{2}||w||^2

                                               s.t.\ y_i(w^Tx_i+b)\geqslant 1, \ \ i=1,2,3...,m. 

这就是支持向量机的基本型

3、拉格朗日对偶

        对于支持向量机的基本型求解,这里使用拉格朗日乘子法,并得到其对偶问题。

拉格朗日函数:L(w,b,\alpha )=\frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha _i(1-y_i(w^Tx_i+b))

对w,b求下确界:d(\alpha )=\underset{w,b\in D}{inf} \left \{L(w,b,\alpha ) \right \}  (1)

对w,b分别求偏导并使其偏导等于0:

                        w=\sum_{i=1}^{m}\alpha _iy_ix_i

                          0=\sum_{i=1}^{m}\alpha _iy_i

带入(1)式并求最大值就得到了原问题的对偶问题

\underset{\alpha }{max}\sum_{i=1}^{m}\alpha _i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _i\alpha_jy_iy_jx_i^Tx_j

s.t.\ \sum_{i=1}^{m}\alpha _iy_i=0, \alpha_i\geq 0

(后续完善)

                               

 

你可能感兴趣的:(支持向量机,机器学习,人工智能)