机器学习之SVM多分类

机器学习之SVM多分类

有兴趣请关注我的博客https://blog.csdn.net/qq_40731414
朱朱朱朱红喜的邮箱[email protected]

实验要求

• 数据说明 ：数据集data4train.mat是一个2*150的矩阵，代表了150个样本，每个样本具有两维特征，其类标在truelabel.mat文件中，trainning sample 图展示了理想的分类类结果；

• 方案选择：
  • 选择并实现一种两分类方法（如感知机方法，SVM等）；在此基础上设计使用该二分类器实现三分类问题的策略，并程序实现，画出分类结果
  • 直接采用现成的可实现多分类的方法（如多类SVM，BP网络等）进行问题求解。画出分类结果。我选择第二种，时间不够，只能使用sklearn中的svc实现

实现思想

• 一对一：
  其做法是在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。
  优点：不需要重新训练所有的SVM，只需要重新训练和增加语音样本相关的分类器。在训练单个模型时，速度较快。
  缺点：所需构造和测试的二值分类器的数量关于k成二次函数增长，总训练时间和测试时间相对较慢。

• 一对多
  训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。
  **优点:**训练k个分类器，个数较少，其分类速度相对较快。
  缺点：
  ①每个分类器的训练都是将全部的样本作为训练样本，这样在求解二次规划问题时，训练速度会随着训练样本的数量的增加而急剧减慢；
  ②同时由于负类样本的数据要远远大于正类样本的数据，从而出现了样本不对称的情况，且这种情况随着训练数据的增加而趋向严重。解决不对称的问题可以引入不同的惩罚因子，对样本点来说较少的正类采用较大的惩罚因子C；
  ③还有就是当有新的类别加进来时，需要对所有的模型进行重新训练

• 层次树:
  首先将所有类别分为两个类别，再将子类进一步划分为两个次级子类，如此循环下去，直到所有的节点都只包含一个单独的类别为止，此节点也是二叉树树种的叶子。该分类将原有的分类问题同样分解成了一系列的两类分类问题，其中两个子类间的分类函数采用SVM。

我这里选择一对多，因为只有三类

算法实现

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/7/2 23:25
# @Author  : 朱红喜
# @File    : Multi-classify.py
# @Software: PyCharm

# 引入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import label_binarize
from sklearn.multiclass import OneVsRestClassifier

from FileUtil import FileUtil

# 加载数据
# 1.训练模型的数据
X = FileUtil.open_matfile("data4train.mat").T  # 数据集
y = FileUtil.open_matfile("truelabel.mat")  # 真实标签
print(X)
print(y[0])
print(y.shape)


# 2.测试模型的数据
X_2 = FileUtil.open_matfile("data4test.mat").T
y_2 = FileUtil.open_matfile("testtruelabel.mat")
print(X_2)
print(y_2[0])
print(y_2.shape)


# 标签二值化
y = label_binarize(y[0], classes=[1, 2, 3])
# print(y)


# 划分训练集和测试集
# 设置种类
n_classes = y.shape[1]
# print(y.shape[1])


# 训练模型并预测
random_state = np.random.RandomState(0)
n_samples, n_features = X.shape
# 随机化数据，并划分训练数据和测试数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.5, random_state=0)

# 训练模型
# Learn to predict each class against the other
model = OneVsRestClassifier(svm.SVC(kernel='linear', probability=True, random_state=random_state))
clt = model.fit(X_train, y_train)


# 性能评估
# 1.在训练集上的得分
clt.score(X_train, y_train)
print(clt.score(X_train, y_train))

# 2.在测试集上的评分
clt.score(X_test, y_test)
print(clt.score(X_test, y_test))

# 查看各类别的预测情况
y_predict_scores = clt.decision_function(X_test)
print(y_predict_scores[:149])

# 转化为原始标签模式
result = np.argmax(clt.decision_function(X_test), axis=1)[:149]
# print(result)
# 转化为老师需要的  1，2，3类标
for i in range(result.__len__()):
    result[i] = result[i]+1

print(result)


print("++++++++++++++++++++++data4train数据集++++++++++++++++++")
result_2 = np.argmax(clt.decision_function(X), axis=1)[:149]
# print(result_2)
# 转化为老师需要的  1，2，3类标
for i in range(result_2.__len__()):
    result_2[i] = result_2[i]+1
print(result_2)


print("++++++++++++++++++++++data4test测试集++++++++++++++++++")
result_2 = np.argmax(clt.decision_function(X_2), axis=1)[:59]
# print(result_2)
# 转化为老师需要的  1，2，3类标
for i in range(result_2.__len__()):
    result_2[i] = result_2[i]+1
print(result_2)

分类结果

参考

https://blog.csdn.net/xfchen2/article/details/79621396
https://blog.csdn.net/xyz1584172808/article/details/82353575