机器学习:核方法

文章目录

  • Kernel Trick
  • 两族核函数族
  • 使用示例:感知机的对偶算法
    • 感知机的对偶算法非核方法
    • 感知机的对偶算法非核方法
  • 使用示例:SVM的原始问题的核方法
  • 使用示例:SVM的对偶问题的核方法

Kernel Trick

核技巧的思想如下:
1、将算法表述成样本点内积的组合(这经常能通过算法的对偶形式实现)
2、设法找到核函数K(xi,xj),它能返回样本点xi、xj被ϕ作用后的内积
3、用K(xi,xj)替换xi⋅xj、完成低维到高维的映射(同时也完成了从线性算法到非线性算法的转换)
对于任意一个损失函数和一个单调递增的正则化项组成的优化问题、我们都能够对其应用核技巧

两族核函数族

机器学习:核方法_第1张图片

使用示例:感知机的对偶算法

感知机的对偶算法非核方法

机器学习:核方法_第2张图片

感知机的对偶算法非核方法

机器学习:核方法_第3张图片

使用示例:SVM的原始问题的核方法

机器学习:核方法_第4张图片

使用示例:SVM的对偶问题的核方法

机器学习:核方法_第5张图片
使用核方法后:
机器学习:核方法_第6张图片

你可能感兴趣的:(算法,机器学习,python,机器学习,SVM,核方法)