Machine Learning Watermelon Book Blog 5

Chapter 6

 

6.1 间隔与支持向量

在样本空间中,划分超平面可通过如下线性方程来描述:

w^T * x + b = 0

其中w = (w1;w2;...;wd)为法向量,决定了超平面的方向;b为位移项,决定了超平面与原点之间的距离。

样本空间中任意点x到超平面(w,b)的距离可写为

r = |w^T*x+b|/||w||

假设超平面(w,b)能将训练样本正确分类,即对于(x_{i},y_{i}) \in D

支持向量(support vector):

两个异类支持向量到超平面的距离之和为

\gamma = \frac{2}{||w||}

它也被称为间隔(margin)。

Machine Learning Watermelon Book Blog 5_第1张图片

6.2 对偶问题

  • 拉格朗日函数:\displaystyle L(w, b, \alpha)=\frac{1}{2}\|w\|^2 + \sum_{i=1}^m \alpha_i\left(1- y_i (w^T x_i+b ) \right)
  • 对偶问题:
  • Machine Learning Watermelon Book Blog 5_第2张图片
  • KKT条件:
  • Machine Learning Watermelon Book Blog 5_第3张图片
  • 支持向量机的一个重要性质:训练完成后,大部分的训练样本都不需保留,最终模型仅与支持向量有关。

 6.3 软间隔与正则化

  • 软间隔:允许某项样本不满足约束y_i(w^Tx_i+b) \geqslant 1,在最大化间隔的同时,不满足约束的样本应该尽可能少
  • 目标函数:

 Machine Learning Watermelon Book Blog 5_第4张图片

  • 常用的软间隔支持向量机:Machine Learning Watermelon Book Blog 5_第5张图片
  •  软间隔支持向量机的对偶问题:

Machine Learning Watermelon Book Blog 5_第6张图片

  •  KKT条件:Machine Learning Watermelon Book Blog 5_第7张图片
  •  软间隔支持向量机的最终模型仅与支持向量有关,即通过采用hinge损失函数仍保持了稀疏性。
  • 正则化:

 6.4 支持向量回归(SVR)

  • SVR目标函数:

Machine Learning Watermelon Book Blog 5_第8张图片

  •  SVR对偶问题:

 Machine Learning Watermelon Book Blog 5_第9张图片

  • KKT条件Machine Learning Watermelon Book Blog 5_第10张图片
  •  解:

条件:

 

 

你可能感兴趣的:(Machine Learning Watermelon Book Blog 5)