The Representer Theorem, 表示定理.

Kernel Methods (6) The Representer Theorem

The Representer Theorem, 表示定理.
给定:

• 非空样本空间: χχ
• mm个样本:{(x1,y1),…,(xm,ym)},xiinχ,yi∈R{(x1,y1),…,(xm,ym)},xiinχ,yi∈R
• 非负的损失函数: J:(χ×R2)m→R+J:(χ×R2)m→R+. 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是JJ有m×3m×3个参数, 3代表: 样本xixi (一个χχ)+ 它的目标值yiyi(一个RR) + 估计值 f(xi)f(xi) (另一个RR)
• 一个正半定kernel function : κ:χ2→Rκ:χ2→R
• κκ对应的再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) HH
• 一个递增函数gg
  优化问题:
  
  argminhJ=argminhJ(x1,y1,h(x1),…,xm,ym,g(||h||2))argminhJ=argminhJ(x1,y1,h(x1),…,xm,ym,g(||h||2))
  
  如果h∗∈Hh∗∈H是一个最优解,h∗h∗必具有以下形式:
  
  h∗=∑i=1mαiκ(xi,⋅)h∗=∑i=1mαiκ(xi,⋅)

可能是理解不够吧, 感觉也就那样:

• SVM要去掉bias才符合.(将xx增广可将bb并入ww处理)
• 只说明形式, 对得到αα的值并没有帮助.

所以证明就不管了, 知道有这么回事就行了. 以后若需要深入了解, 可以参考pdf