scikit-learn实现SVM

支持向量机（SVM）是一种监督学习算法，主要用于分类和回归分析。其基本原理是在数据集中找到一个最优的超平面，使得不同类别的数据被最大间隔分开。

1. 最大间隔超平面：
   SVM的目标是找到能够最大化训练样本间隔的超平面。间隔被定义为到最近训练样本点的距离，这些点被称为支持向量。这种策略的优势在于它提供了一种防止模型过拟合的方法，从而提高了泛化能力。

2. 核技巧：
   在实际应用中，许多数据集不是线性可分的，这就需要使用核技巧。核技巧通过一个非线性映射将原始特征空间映射到一个更高维的空间，在这个新空间中，数据更有可能是线性可分的。常用的核函数包括线性核、多项式核、径向基函数（RBF）核等。

3. 软间隔与正则化：
   在存在噪声或异常点的数据集中，强制完全分离可能不是最佳选择，因此引入了软间隔的概念。软间隔允许某些数据点违反间隔规则，从而在保持间隔宽度和减少分类误差之间达到平衡。这是通过调整正则化参数C来实现的，C值较小允许更多的违规点，提高模型的灵活性，而C较大则强制更严格的分离，增加模型的约束。

4. 优化问题：
   SVM的训练过程本质上是解决一个凸优化问题，目标是最小化一个包含正则化项的损失函数。这通常通过拉格朗日乘数法和序列最小优化（SMO）算法来实现，后者是解决SVM优化问题的一种有效方法。

5. 多类分类：
   原始的SVM是一个二分类器。对于多类分类任务，可以采用“一对一”（OvO）或“一对多”（OvR）策略将多类问题分解为多个二分类问题来处理。

以上就是支持向量机的基本原理和实现方法。通过调整核函数类型和正则化参数，SVM可以灵活地适应不同的数据特性和应用需求。

# 导入必要的库
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# 加载数据集，这里使用经典的鸢尾花数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 数据标准化处理
# SVM在处理数据时，表现更好如果数据被标准化（即具有均值为0和单位方差）
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 创建SVM分类器实例
# 使用RBF核（径向基函数）来处理非线性分类问题
svm = SVC(kernel='rbf', C=1.0, gamma='auto')

# 训练SVM分类器
svm.fit(X_train_scaled, y_train)

# 在测试集上预测
y_pred = svm.predict(X_test_scaled)

# 计算并打印准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Model accuracy: {accuracy * 100:.2f}%")