ML 监督学习 回归 支持向量机

首先补充分类问题
SVM不能用于多分类问题，但我们可以用The “One-vs-One” trick for Multi-Class SVMs

SVR（Support Vector Regression，支持向量回归）

使用SVR作回归分析，与SVM一样需要找到一个超平面，不同的是：在SVM中要找出一个间隔（gap）最大的超平面，而在SVR中是定义一个ε，定义虚线内区域的数据点的残差为0，而虚线区域外的数据点（支持向量）到虚线的边界的距离为残差（ξ）。与线性模型类似，希望这些残差（ξ）最小（Minimize）。所以大致上来说，SVR就是要找出一个最佳的条状区域（2ε宽度），再对区域外的点进行回归。

线性可分

Hard

Soft

非线性可分

内核函数将数据转换为更高维的特征空间，从而可以执行线性分离。

Kernel

随着 epsilon 增加,该方程被允许远离数据点, 支撑向量减少 ，拟合的更差。

import numpy as np                                 
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.metrics import mean_squared_error,mean_absolute_error

N=50
np.random.seed(0)
x=np.sort(np.random.uniform(0,6,N),axis=0)     #训练数据集
y=2*np.sin(x)+0.1*np.random.randn(N)
x=x.reshape(-1,1)

svr_rbf=svm.SVR(kernel='rbf',gamma=0.4,C=100)  #高斯核函数
svr_rbf.fit(x,y)                               

svr_linear=svm.SVR(kernel='linear',C=100)      #线性核函数
svr_linear.fit(x,y)

svr_poly=svm.SVR(kernel='poly',degree=3,C=100) #多项式核函数
svr_poly.fit(x,y)

x_test=np.sort(np.random.uniform(0,9,N),axis=0)#测试数据集
y_test=2*np.sin(x_test)+0.1*np.random.randn(N)
x_test=x_test.reshape(-1,1)

y_rbf=svr_rbf.predict(x_test)                  #进行预测
y_linear=svr_linear.predict(x_test)
y_poly=svr_poly.predict(x_test)

plt.figure(figsize=(9,8),facecolor='w')
plt.plot(x_test,y_rbf,'r-',linewidth=2,label='RBF Kernel')
plt.plot(x_test,y_linear,'g-',linewidth=2,label='Linear Kernel')
plt.plot(x_test,y_poly,'b-',linewidth=2,label='Polynomial Kernel')

plt.plot(x,y,'ks',markersize=5,label='train data')
plt.plot(x_test,y_test,'mo',markersize=6,label='test data')

plt.scatter(x[svr_rbf.support_],y[svr_rbf.support_],
            s=200,c='r',marker='*',label='RBF Support Vectors',zorder=10)

plt.show()

print("RBF_mean_absolute_error",mean_absolute_error(y_test,y_rbf))
print("RBF_mean_squared_error",mean_squared_error(y_test,y_rbf))

#用网格搜索交叉检验来寻找最优参数组合
from sklearn.model_selection import GridSearchCV
model=svm.SVR(kernel='rbf')
c_can=np.linspace(105,107,10)
gamma_can=np.linspace(0.4,0.5,10)
svr_rbf=GridSearchCV(model,param_grid={'C':c_can,'gamma':gamma_can},cv=5)
svr_rbf.fit(x,y)
print(svr_rbf.best_estimator_)

高斯核函数具有两个参数：C和gamma。
C是惩罚系数，对误差的宽容度。C值越高，说明越不能容忍出现误差，容易过拟合。C值越小，容易欠拟合。
gamma是选择RBF函数作为kernel后，该函数自带的一个参数，其隐含地决定了数据映射到新的特征空间后的分布，gamma值越大，支持向量越少，gamma值越小，支持向量越多。