Python机器学习基础教程学习笔记（6）——线性模型（分类）
1. 二分类
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn
# 不想看到warnings
import warnings
warnings.filterwarnings("ignore", category=Warning)
# 拆分训练集与测试集
from sklearn.model_selection import train_test_split
# 使用两个分类算法：LogisticRegression和LinearSVC
from sklearn.linear_model import LogisticRegression
from sklearn.svm import LinearSVC
X, y = mglearn.datasets.make_forge()
fig, axes = plt.subplots(1, 2, figsize=(10, 3))
for model, ax in zip([LinearSVC(), LogisticRegression()], axes):
clf = model.fit(X, y)
mglearn.plots.plot_2d_separator(clf, X, fill=False, eps=0.5,
ax=ax, alpha=.7)
mglearn.discrete_scatter(X[:, 0], X[:, 1], y, ax=ax)
ax.set_title(clf.__class__.__name__)
ax.set_xlabel("Feature 0")
ax.set_ylabel("Feature 1")
ax.legend()
output_3_0.png
- LinearSVC和LogisticRegression两个模型默认都使用L2正则化
- 决定正则化强度的权衡参数叫做C。
- C值越大，对应的正则化越弱。
- C值较大，模型将尽可能将训练集拟合到最好
- C值较小，模型更强调使用系统向量接近于0
mglearn.plots.plot_linear_svc_regularization()
output_5_0.png
from sklearn.datasets import load_breast_cancer
cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
cancer.data, cancer.target, stratify=cancer.target, random_state=42)
logreg = LogisticRegression().fit(X_train, y_train)
print("Training set score: {:.3f}".format(logreg.score(X_train, y_train)))
print("Test set score: {:.3f}".format(logreg.score(X_test, y_test)))
Training set score: 0.953
Test set score: 0.958
- C=1的默认值给出了相当好的性能，都是95%的精度。
- 训练集和测试集的性能非常接近，所以很可能是欠拟合。
- 尝试增大C来拟合一个更灵活的模型
logreg100 = LogisticRegression(C=100).fit(X_train, y_train)
print("Training set score: {:.3f}".format(logreg100.score(X_train, y_train)))
print("Test set score: {:.3f}".format(logreg100.score(X_test, y_test)))
Training set score: 0.972
Test set score: 0.965
- 当减小C值时，正则化更强，训练集和测试集精度都变小
logreg001 = LogisticRegression(C=0.01).fit(X_train, y_train)
print("Training set score: {:.3f}".format(logreg001.score(X_train, y_train)))
print("Test set score: {:.3f}".format(logreg001.score(X_test, y_test)))
Training set score: 0.934
Test set score: 0.930
plt.plot(logreg.coef_.T,'o',label="C=1")
plt.plot(logreg100.coef_.T,'^',label="C=100")
plt.plot(logreg001.coef_.T,'v',label="C=0.01")
# 给横坐标赋值
plt.xticks(range(cancer.data.shape[1]),cancer.feature_names,rotation=90)
# 加中间的横线
plt.hlines(0,0,cancer.data.shape[1])
plt.ylim(-5,5)
plt.xlabel("coefficient index")
plt.ylabel("coeffient magnitude")
plt.legend()
plt.show()
output_11_0.png
- LogisticRegression使用的是L2正则化
- 更强的正则化使用得系统趋向于0，但是系统永远不会正好等于0
- 对线性模型系统的解释应该始终持保留态度
- 如果想要解释性更强的模型，使用L1正则化可能更好，因为它约束模型只使用少数的几个特征
for C,marker in zip([0.001,1,100],['o','^','v']):
# 这里把penalty参数设置为l1，表示使用L1正则化
lr_l1= LogisticRegression(C=C,penalty="l1").fit(X_train,y_train)
print("C={:.3f}".format(C))
print("Training set score : {:.3f}".format(lr_l1.score(X_train, y_train)))
print("Test set score : {:.3f}".format(lr_l1.score(X_test, y_test)))
print("---------------------------------------")
plt.plot(lr_l1.coef_.T,marker,label="C={:.3f}".format(C))
# 给横坐标赋值
plt.xticks(range(cancer.data.shape[1]),cancer.feature_names,rotation=90)
# 加中间的横线
plt.hlines(0,0,cancer.data.shape[1])
plt.ylim(-5,5)
plt.xlabel("coefficient index")
plt.ylabel("coeffient magnitude")
plt.legend()
plt.show()
C=0.001
Training set score : 0.913
Test set score : 0.923
---------------------------------------
C=1.000
Training set score : 0.960
Test set score : 0.958
---------------------------------------
C=100.000
Training set score : 0.986
Test set score : 0.979
---------------------------------------
output_13_1.png
- 模型的主要差别在于penalty参数，这个参数会影响正则化，也会影响模型是使用所有可用特征还是只选择特征的一个子集
2. 多分类
将二分类算法推广到多分类算法的一种常见方法是“一对其余”(one-vs.-rest)
from sklearn.datasets import make_blobs
X ,y = make_blobs(random_state=42)
mglearn.discrete_scatter(X[:,0],X[:,1],y)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.legend(["Class 0","Class 1","Class 2"])
plt.show()
output_17_0.png
linear_svm = LinearSVC().fit(X,y)
# coef_的形状是(3,2),说明coef_每行包含三个类别之一的系统微量每列包含某个特征（这个数据集有2个特征）对应的系数值。
print("Coefficient shape:{}".format(linear_svm.coef_.shape))
# intercept_的形状是(3,)，是一维数组，保存每个类别的截距
print("Intercept shape:{}".format(linear_svm.intercept_.shape))
Coefficient shape:(3, 2)
Intercept shape:(3,)
mglearn.discrete_scatter(X[:,0],X[:,1],y)
line = np.linspace(-15,15)
# -(line*coef[0]+ intercept)/coef[1] 这个值可以简单理解一下
for coef,intercept,color in zip(linear_svm.coef_,linear_svm.intercept_,['b','r','g']):
plt.plot(line,-(line*coef[0]+ intercept)/coef[1],color)
plt.xlim(-10,8)
plt.ylim(-10,15)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.legend(["Class 0","Class 1","Class 2","Line class 0","Line class 1","Line class 2"],loc=(1.01,0.3))
plt.show()
output_19_0.png
- 从图中可以看出这种“一对其余”(one-vs.-rest)的样子
- 但是图中间的三角形区域属于哪一个类别呢，3个二类分类器都将这一区域内的点划分为“其余”
- 答案是，分类方程结果最大的那个类别，即最接近的那条线对应的类别。
mglearn.plots.plot_2d_classification(linear_svm,X,fill=True,alpha=.3)
mglearn.discrete_scatter(X[:,0],X[:,1],y)
line = np.linspace(-15,15)
# -(line*coef[0]+ intercept)/coef[1] 这个值可以简单理解一下
for coef,intercept,color in zip(linear_svm.coef_,linear_svm.intercept_,['b','r','g']):
plt.plot(line,-(line*coef[0]+ intercept)/coef[1],color)
plt.xlabel("Feature 0")
plt.ylabel("Feature 1")
plt.legend(["Class 0","Class 1","Class 2","Line class 0","Line class 1","Line class 2"],loc=(1.01,0.3))
plt.show()
output_21_0.png
3 优点、缺点和参数
- 线性模型的主要参数是正则化参数
- 回归模型中叫alpha
- 分类模型中叫C
- alpha值较大或C值较小，说明模型比较简单
- 还需要确定使用L1正则化还是L2正则化
- 如果假定只有几个特征是真正重要的，那么使用L1正则化，否则默认使用L2正则化
- 如果模型的可解释性很重要，使用L1会有帮助
- 线性模型的训练速度非常快，预测速度也很快。
- 可推广到非常大的数据集
- 稀疏数据也很有效
- 如果数据包含数十万甚至上百万个样本，需要研究如何使用LogisticRegression和Ridge模型的solver='sag'选项，在处理大数据时，这一选项比默认值更快
- 其他选项还有SGDClassifier类和SDGRegressor类，对本节介绍的线性模型实现了可扩展性更强的版本。
- 如果特征数量大于样本数量，线性模型表现通常都很好。
- 常用于非常大的数据集，只是因为训练其他模型并不可行。
- 在更低维的空间中，其他模型的泛化性能可能更好