机器学习-支持向量机核函数

核函数

核函数的目的:改造支持向量机来处理非线性问题
如何选择高阶的特征值,哪些高阶的特征值是我们真正需要的
为了方便可视化,我们假定只有两个特征x1,x2
我们手动选择3个点l1,l2,l3
我们想选取新的特征值
于是用下图的相似度函数f1,f2,f3来表示新的特征值,也记做 K(x,l)
计算公式就是下图算是,其中被双竖线框住的是landmark l的欧式距离(也就是两点间的距离)
σ(高斯核函数的参数)
机器学习-支持向量机核函数_第1张图片
核函数
机器学习-支持向量机核函数_第2张图片

通过这个函数的计算我们可以得到
当x离landmark很近的时候f=1,表示相似度很高
反之
机器学习-支持向量机核函数_第3张图片
每个L代表一个新的特征
举例,峰顶相似度最高
机器学习-支持向量机核函数_第4张图片
我们可以改变高斯参数 σ观察图像
大了下降的会缓慢,参数越小,峰越陡峭;越大越平缓
机器学习-支持向量机核函数_第5张图片
来看看采用了新的特征值后我们的假设函数变成了什么样?
给定一个训练样本,下图粉色的点,假设我们已经拟合出参数(途中标注)
当z>=0时,认为预测值为1,下图点经过计算得1
机器学习-支持向量机核函数_第6张图片
同理可以计算任意给出的点
我们这个模型可以大致得到下图
机器学习-支持向量机核函数_第7张图片

那么我们怎么得到landmark?
怎么选landmark?
假如我们有m个样本点
我们就把样本点当做landmark
进而算出f1,f2…fm。也就是把所有点都当做landmark
机器学习-支持向量机核函数_第8张图片
这样我们就得到新的特征向量
机器学习-支持向量机核函数_第9张图片
同时我们也要把损失函数的x替换为f
这里的n=m
机器学习-支持向量机核函数_第10张图片
正则化项可以用向量乘积表示
在这里插入图片描述

你可能感兴趣的:(机器学习,支持向量机核函数)