在正规化regularization中,拉格朗日乘数作为一个给定的参数。在对偶SVM中,拉格朗日乘数未知。
Lagrange dual problem: 算式中min和max做了一个交换。
QP在满足如下三个条件时就可以推出强对偶(等于关系),弱对偶是大于等于关系。
i)convex primal
原问题是凸的。
ii)feasible primal(separable)
原问题可解,也就是数据可分。
iii)linear constraints
限制条件是线性的。
在化简的过程中,b消失了,稍后会教怎么用w算出b:用complementary slackness(Harry Potter and Voldermort至少有一个死掉)
KKT最优化条件(KKT是三个研究者名字的缩写)如下:
if primal-dual optimal (b, w, α),
• primal feasible: yn (wT zn + b) ≥ 1
• dual feasible: αn ≥ 0
• dual-inner optimal:Σyn αn = 0; w =Σαn yn zn
• primal-inner optimal (at optimal all ‘Lagrange terms’ disappear):
αn (1 − yn (w T zn + b)) = 0 (complementary slackness)
—called Karush-Kuhn-Tucker (KKT) conditions, necessary for optimality [& sufficient here]
QP solver: bound(an)可以直接用函数(上限和下限)
SV (positive αn ) ⊆ SV candidates (on boundary)
w = linear combination of ynzn
• also true for GD/SGD-based LogReg/LinReg when w0 = 0
w是由数据来表示的。SVM是一种特殊的表示形式,只由支持向量来代表。
PLA算法是用犯错误的点来表示w,SVM是用边界的点来表示w。
Primal Hard-Margin SVM:
physical meaning: locate specially-scaled (b,w)
Dual Hard-Margin SVM:
physical meaning: locate SVs (zn , yn ) & their αn
dual SVM: another QP with valuable geometric messages and almost no dependence on d̃