【本科生机器学习】【Python】【北京航空航天大学】课题报告：支持向量机（Support Vector Machine，SVM）初步研究【中、实验部分（一）】
说明：
（1）、仅供个人学习使用；
（2）、本科生学术水平有限，故不能保证全无科学性错误，本文仅作为该领域的学习参考。
实验原理部分见【上、原理部分】。
实验内容（及结论）
一、实验一
1、实验描述： 仅基于花瓣宽度这一个特征，训练一个逻辑斯谛分类器来检测维吉尼亚鸢尾花。
2、实验主要步骤：
（1）、数据预处理流程：
加载数据：
iris = datasets.load_iris()
建立训练集：
X = iris[“data”][:, 3:] # 花瓣宽度字段
y = (iris[“target”] == 2).astype(int) # 判断是否为维吉尼亚鸢尾
（2）、分类算法实现：
训练一个逻辑斯谛回归模型：
log_reg = LogisticRegression()
log_reg.fit(X, y)
将训练好的模型可视化：
X_new = np.linspace(0, 3, 1000).reshape(-1, 1)
y_proba = log_reg.predict_proba(X_new)
plt.plot(X_new, y_proba[:, 1], "g-", label="Iris virginica")
plt.plot(X_new, y_proba[:, 0], "b--", label="Not Iris virginica")
plt.xlabel("petal width(cm)")
plt.ylabel("probability")
plt.legend()
plt.show()
使用模型进行预测（分类）：
print(log_reg.predict([[1.7]])) # 1
print(log_reg.predict([[1.5]])) # 2
print(log_reg.predict([[1.9]])) # 3
print(log_reg.predict([[0.3]])) # 4
print(log_reg.predict([[2.6]])) # 5
3、实验全部代码（使用Python）：
# 实验一
# 仅基于花瓣宽度这一个特征，创建一个分类器来检测维吉尼亚鸢尾花。
import numpy as np
from matplotlib import pyplot as plt
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
iris = datasets.load_iris() # 加载鸢尾花数据集
print("数据键分别为：", list(iris.keys()))
X = iris["data"][:, 3:] # petal width
y = (iris["target"] == 2).astype(int) # 1 if Iris virginica, else 0
# 训练一个逻辑斯谛回归模型：
log_reg = LogisticRegression()
log_reg.fit(X, y)
# 花瓣宽度在0~3cm之间的鸢尾花，模型估算出的概率：
X_new = np.linspace(0, 3, 1000).reshape(-1, 1)
y_proba = log_reg.predict_proba(X_new)
plt.plot(X_new, y_proba[:, 1], "g-", label="Iris virginica")
plt.plot(X_new, y_proba[:, 0], "b--", label="Not Iris virginica")
plt.xlabel("petal width(cm)")
plt.ylabel("probability")
plt.legend()
plt.show()
# 使用模型作出预测：
print(log_reg.predict([[1.7]])) # 1
print(log_reg.predict([[1.5]])) # 2
print(log_reg.predict([[1.9]])) # 3
print(log_reg.predict([[0.3]])) # 4
print(log_reg.predict([[2.6]])) # 5
4、实验结论
（1）、估计的概率和决策边界（Decision Boundary, DB）图示：
图6.逻辑斯谛回归分类器的决策边界
输出结果解释：图6中，绿色实线代表维吉尼亚鸢尾花出现的概率与花瓣宽度之间的关系，蓝色虚线代表其他两种鸢尾花（非维吉尼亚）出现的概率与花瓣宽度之间的关系。通过两条线的交点并垂直于横轴的直线为分类器的决策边界。在决策边界左侧的数据，分类器输出“0”，在决策边界右侧的数据，分类器输出“1”。
（2）、模型对数据的预测
选取的5个测试数据点的预测结果：
[1], [0], [1], [0], [1]
结果解释：
输出“1”代表维吉尼亚鸢尾，输出“0”代表其他鸢尾。
花瓣宽度为1.7cm的鸢尾花，模型将其归入维吉尼亚鸢尾。花瓣宽度为1.5cm的鸢尾花，模型将其归入非维吉尼亚鸢尾。其余类似。
predict()方法返回一个可能性最大的类别。即在大约1.6cm处存在一个决策边界，在边界处“是”或“不是”的概率均为50%。如果花瓣宽度大于1.6cm，分类器就预测它是维吉尼亚鸢尾花，否则就预测不是，即便这样的输出不一定正确。
二、实验二
1、实验描述： 训练线性SVM模型，根据花瓣的长度和花瓣宽度来检测维吉尼亚鸢尾花。
2、实验主要步骤：
（1）、数据预处理流程：
加载数据：
iris = datasets.load_iris()
建立训练集：
X = iris[“data”][:, 3:] # 花瓣宽度字段
y = (iris[“target”] == 2).astype(int) # 判断是否为维吉尼亚鸢尾
缩放特征，使决策边界看起来更明显：
svm_clf = Pipeline([ # 线性SVM模型
("scaler", StandardScaler()), # 特征缩放
("linear_svc", LinearSVC(C=1, loss="hinge", max_iter=5000)),
])
（2）、实验算法实现：
使用C = 1的LinearSVC类和hinge损失函数建立线性SVM模型，为避免Liblinear无法收敛，将最大迭代次数设置为5000：
svm_clf = Pipeline([ # 线性SVM模型
("scaler", StandardScaler()),
("linear_svc", LinearSVC(C=1, loss="hinge", max_iter=5000)),
])
训练SVM模型：
svm_clf.fit(X, y)
使用训练好的模型进行预测：
# 使用模型进行预测:
print(svm_clf.predict([[5.5, 1.7]])) # 1
print(svm_clf.predict([[4.0, 2.0]])) # 2
print(svm_clf.predict([[4.25, 1.5]])) # 3
print(svm_clf.predict([[5.6, 1.45]])) # 4
print(svm_clf.predict([[5.75, 2.5]])) # 5
3、实验全部代码（使用Python）：
# 实验二
# 基于花瓣长度和花瓣宽度两个特征，训练线性SVM模型来检测维吉尼亚鸢尾花
import numpy as np
from sklearn import datasets
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC
iris = datasets.load_iris() # 加载鸢尾花数据集
X = iris["data"][:, (2, 3)] # petal length, petal width
y = (iris["target"] == 2).astype(np.float64) # Iris virginica
svm_clf = Pipeline([ # 线性SVM模型
("scaler", StandardScaler()),
("linear_svc", LinearSVC(C=1, loss="hinge", max_iter=5000)),
])
svm_clf.fit(X, y)
# 使用模型进行预测:
print(svm_clf.predict([[5.5, 1.7]])) # 1
print(svm_clf.predict([[4.0, 2.0]])) # 2
print(svm_clf.predict([[4.25, 1.5]])) # 3
print(svm_clf.predict([[5.6, 1.45]])) # 4
print(svm_clf.predict([[5.75, 2.5]])) # 5
4、实验结论
（1）、 生成的模型：
图7.SVM模型
解释：图7中的实线代表SVM分类器的决策边界，这条线不仅分离了两个类，并且尽可能地远离了最近的训练实例，提高了模型的泛化性。
（2）、使用模型进行预测：
选取的5个测试数据点的预测结果：
[1], [1], [0], [0], [1]
结果解释：在C = 1的情况下，SVM将花瓣长度为5.5cm,花瓣宽度为1.7cm的样本归于维吉尼亚鸢尾。其余样本类似。
三、实验三
1、实验描述： （承接实验二）改变实验二中SVM模型超参数C的值，观察分类器的输出变化。
2、实验主要步骤：
（1）、数据预处理流程：
同实验二。
（2）、算法思想及步骤：
将SVM分类器的超参数C设定为1，并在训练集上训练模型：
# 第一个svm分类器，指定超参数C = 1
svm_clf1 = Pipeline([
("scaler", StandardScaler()),
("linear_svc", LinearSVC(C=1, loss="hinge", max_iter=5000)),
])
svm_clf1.fit(X, y)
将SVM分类器的超参数C设定为100，在训练集上训练模型：
# 第二个svm分类器，指定超参数C = 100
svm_clf2 = Pipeline([
("scaler", StandardScaler()),
("linear_svc", LinearSVC(C=100, loss="hinge", max_iter=5000)),
])
svm_clf2.fit(X, y)
在测试集上，用模型进行分类测试：
# 使用第一个模型进行分类测试
print(svm_clf1.predict([[5.5, 1.7]])) # 1
print(svm_clf1.predict([[4.0, 2.0]])) # 2
print(svm_clf1.predict([[4.25, 1.5]])) # 3
print(svm_clf1.predict([[5.6, 1.45]])) # 4
print(svm_clf1.predict([[5.75, 2.5]])) # 5
print()
# 使用第二个模型进行分类测试
print(svm_clf2.predict([[5.5, 1.7]])) # 1
print(svm_clf2.predict([[4.0, 2.0]])) # 2
print(svm_clf2.predict([[4.25, 1.5]])) # 3
print(svm_clf2.predict([[5.6, 1.45]])) # 4
print(svm_clf2.predict([[5.75, 2.5]])) # 5
3、实验全部代码（使用Python）：
# 实验三
# 改变SVM模型超参数C的值，观察分类器的输出变化。
import numpy as np
from sklearn import datasets
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC
iris = datasets.load_iris() # 加载鸢尾花数据集
X = iris["data"][:, (2, 3)] # petal length, petal width
y = (iris["target"] == 2).astype(np.float64) # Iris virginica
# 第一个svm分类器，指定超参数C = 1
svm_clf1 = Pipeline([
("scaler", StandardScaler()),
("linear_svc", LinearSVC(C=1, loss="hinge", max_iter=5000)),
])
svm_clf1.fit(X, y)
# 第二个svm分类器，指定超参数C = 100
svm_clf2 = Pipeline([
("scaler", StandardScaler()),
("linear_svc", LinearSVC(C=100, loss="hinge", max_iter=5000)),
])
svm_clf2.fit(X, y)
# 使用第一个模型进行分类测试
print(svm_clf1.predict([[5.5, 1.7]])) # 1
print(svm_clf1.predict([[4.0, 2.0]])) # 2
print(svm_clf1.predict([[4.25, 1.5]])) # 3
print(svm_clf1.predict([[5.6, 1.45]])) # 4
print(svm_clf1.predict([[5.75, 2.5]])) # 5
print()
# 使用第二个模型进行分类测试
print(svm_clf2.predict([[5.5, 1.7]])) # 1
print(svm_clf2.predict([[4.0, 2.0]])) # 2
print(svm_clf2.predict([[4.25, 1.5]])) # 3
print(svm_clf2.predict([[5.6, 1.45]])) # 4
print(svm_clf2.predict([[5.75, 2.5]])) # 5
4、实验结论
（1）、 C = 1与C = 100时模型的对比：
图8.更少的间隔冲突（左）和大间隔（右）
对结果的解释：超参数C的作用是在保持“街道”（虚线之间的区域）宽阔和限制间隔违例（即位于街道之上，甚至在错误的一边的实例）之间找到良好的平衡。这就是软间隔分类。
左图为C值较高(C=100)时分类器模型，分类器的错误样本（间隔违例）较少，但是间隔也较小，导致模型对异常值比较敏感，泛化能力弱；
右图为C值较低(C=1)时分类器模型，分类器的间隔大了很多，但是位于间隔之间的实例也更多。该模型的泛化性更好，因为大多数间隔违例实际上都位于决策边界（实线）正确的一边。
（2）、 对模型的测试：
第1个模型的预测结果：
[1], [1], [0], [0], [1]
第2个模型的预测结果：
[1], [0], [0], [1], [1]
其中“1”代表维吉尼亚鸢尾，“0”代表变色鸢尾。
对结果的解释：可以看出，2个模型的输出大致相同，但是在边界数据点（序号为2、4）上，输出的分类结果并不相同，可见C = 1时的模型泛化性更好。
实验部分（一） 到此结束。