Task01 基于逻辑回归的分类预测

第一部分 准备知识

使用一个小Demo讲解了可视化的过程，以及如何使用sklearn的方法进行逻辑回归分类。

1.1 需要导入的库函数

##  基础函数库
import numpy as np 

## 导入画图库
import matplotlib.pyplot as plt
import seaborn as sns

## 导入逻辑回归模型函数
from sklearn.linear_model import LogisticRegression

1.2 训练逻辑回归模型

##Demo演示LogisticRegression分类

## 构造数据集
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])

## 调用逻辑回归模型
lr_clf = LogisticRegression()

## 用逻辑回归模型拟合构造的数据集
lr_clf = lr_clf.fit(x_fearures, y_label) #其拟合方程为 y=w0+w1*x1+w2*x2

sklearn调用逻辑回归模型很简单，调用模型后使用fit()方法训练，后续会讲解原理。
这里输入参数有两个，因此会有W1,W2两个参数，以及偏置项W0，我们可以查看这几个数值。

##查看其对应模型的w
print('the weight of Logistic Regression:',lr_clf.coef_)
##查看其对应模型的w0
print('the intercept(w0) of Logistic Regression:',lr_clf.intercept_)
##the weight of Logistic Regression:[[0.73462087 0.6947908]]
##the intercept(w0) of Logistic Regression:[-0.03643213]

其中W1，W2又叫权重参数，W0又叫截距项。

1.3 可视化

首先是可视化数据样本，使用plt.scatter()的方法绘制散点图即可，需要理解的是如何绘制决策边界。
我自己的理解是使用训练好的模型，去预测一定区域的全部点，虽然每个单独的预测结果都是一个点，但是只要数量足够就能形成线段，也就是决策边界，下面看一下代码：

# 可视化决策边界
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

nx, ny = 200, 100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))

z_proba = lr_clf.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

代码的第二部分使用了三个不同的函数，下面分别对其进行解释。

plt.xlim()

该方法可以设置x轴的最大值与最小值，默认为x_max = 1，x_min = 0，可以直接在括号内设置范围。

X, Y = np.meshgrid(x, y)

numpy提供的numpy.meshgrid()函数可以让我们快速生成坐标矩阵X，Y。输入的x，y就是网格点的横纵坐标列向量，输出的X，Y就是坐标矩阵。

np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)

属性	说明
start	队列的开始值
stop	队列的结束值
num	要生成的样本数，非负数，默认是50
endpoint	若为True，“stop”是最后的样本；否则“stop”将不会被包含。默认为True
retstep	若为False，返回等差数列；否则返回array([samples, step])。默认为False

在区间[start, stop]中返回“num”个等间距的样本。

因此第二部分的代码就是生成一定范围、一定数量的矩阵。
之后第三部分的代码使用训练好的模型预测上述的样本矩阵。

np.c_()是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。与其对应的是np.r()按列连接。
.ravel()返回一维数组，不产生副本
predict_proba()返回的是一个 n 行 k 列的数组， 第 i 行 第 j 列上的数值是模型预测 第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。

最后使用预测的结果绘制边界。

contour([X, Y,] Z, [levels], ** kwargs)

参数	说明
X，Y ： array-like，可选	值Z的坐标。2-D，且形状与Z相同，或者它们必须都是1-d，分别为Z的列和行。
Z ： array-like（N，M）	绘制轮廓的高度值。
levels	int或类似数组，可选。确定轮廓线/区域的数量和位置。

还有其他的一些参数link.
最后就是使用模型对新样本进行预测，这一部分与下一节内容相同，这里先略过。

第二部分 基于鸢尾花（iris）数据集的逻辑回归分类实践

鸢尾花数据集包含5个变量，其中4个特征变量，1个目标分类变量。共有150个样本，目标变量为 花的类别 其都属于鸢尾属下的三个亚属，分别是山鸢尾 (Iris-setosa)，变色鸢尾(Iris-versicolor)和维吉尼亚鸢尾(Iris-virginica)。包含的三种鸢尾花的四个特征，分别是花萼长度(cm)、花萼宽度(cm)、花瓣长度(cm)、花瓣宽度(cm)。

2.1 数据读取

##我们利用sklearn中自带的iris数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式

##利用.info()查看数据的整体信息
iris_features.info()

##<class'pandas.core.frame.DataFrame'>
##RangeIndex:150entries,0to149
##Datacolumns(total4columns):
###ColumnNon-NullCountDtype
##----------------------------
##0sepallength(cm)150non-nullfloat64
##1sepalwidth(cm)150non-nullfloat64
##2petallength(cm)150non-nullfloat64
##3petalwidth(cm)150non-nullfloat64
##dtypes:float64(4)
##memoryusage:4.8KB

数据是sklearn自带的，直接导入即可；.info()方法可以查看整体信息，这里显示一共有150个样本，没有缺失值，以及数据类型。
进行简单的数据查看，可以使用.head()查看前5行数据（默认），括号内可设置参数，作为你想查看的行数，相应的有.tail()查看后五行数据。

iris_features.head()

iris_features.tail()

查看标签后，可以使用value_count()函数查看每个类别的数量。

##其对应的类别标签为，其中0，1，2分别代表'setosa','versicolor','virginica'三种不同花的类别

iris_target

##array([0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,

##0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,

##0,0,0,0,0,0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,

##1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,

##1,1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,

##2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,

##2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2])

##利用value_counts函数查看每个类别数量

pd.Series(iris_target).value_counts()

##2    50

##1    50

##0    50

##dtype:int64

.describe()可以进行统计描述。

##对于特征进行一些统计描述

iris_features.describe()

显示了均值、方差、最小值、最大值等

2.2 可视化

可视化之前可以对数据进行浅拷贝，防止源数据被修改。

## 合并标签和特征信息
iris_all = iris_features.copy() ##进行浅拷贝，防止对于原始数据的修改
iris_all['target'] = iris_target

使用pairplot展现变量两两之间的关系。

## 特征与标签组合的散点可视化
sns.pairplot(data=iris_all,diag_kind='hist', hue= 'target')
plt.show()

参数	说明
kind	用于控制非对角线上的图的类型，可选"scatter"与"reg"
diag_kind	控制对角线上的图的类型，可选"hist"与"kde"
hue	针对某一字段进行分类

我们可以从经过hue分类后的pairplot中发现，不论是从对角线上的直方图还是分类后的散点图，都可以看出对于不同种类的花，其萼片长、花瓣长、花瓣宽的分布差异较大，换句话说，这些属性是可以帮助我们去识别不同种类的花的。
其他参数.
此外也可以绘制箱型图以及多维散点图查看分布情况。

2.3 利用逻辑回归模型进行训练和预测

如果只提取鸢尾花数据集的两个类别进行分类预测，对模型来说就比较简单，可以达到百分百的正确率，而使用三个类别进行训练和预测，则会出现些许误差。
首先是划分训练集和测试集，这样可以正确评估模型性能。

##测试集大小为20%，80%/20%分
x_train,x_test,y_train,y_test=train_test_split(iris_features,iris_target,test_size=0.2,random_state=2020)

然后自然就是定义模型并训练。

##定义逻辑回归模型
clf=LogisticRegression(random_state=0,solver='lbfgs')
##在训练集上训练逻辑回归模型
clf.fit(x_train,y_train)

这里的参数solver是优化的方法，默认solver ‘adam’在相对较大的数据集上效果比较好（几千个样本或者更多），对小数据集来说，lbfgs收敛更快效果也更好。

solver： {‘lbfgs’, ‘sgd’, ‘adam’}, 默认adam，用来优化权重

训练好模型就可以用于预测了。

##在训练集和测试集上分布利用训练好的模型进行预测
train_predict=clf.predict(x_train)
test_predict=clf.predict(x_test)
##由于逻辑回归模型是概率预测模型（前文介绍的p=p(y=1|x,\theta)）,所有我们可以利用predict_proba函数预测其概率

train_predict_proba=clf.predict_proba(x_train)
test_predict_proba=clf.predict_proba(x_test)

print('The test predict Probability of each class:\n',test_predict_proba)
##其中第一列代表预测为0类的概率，第二列代表预测为1类的概率，第三列代表预测为2类的概率。

预测的输出为三列，每一列表示该样本预测为某类的概率，预测概率最大类别即为预测结果。

The test predict Probability of each class:
 [[  1.32525870e-04   2.41745142e-01   7.58122332e-01]
 [  7.02970475e-01   2.97026349e-01   3.17667822e-06]
 [  3.37367886e-02   7.25313901e-01   2.40949311e-01]
 [  5.66207138e-03   6.53245545e-01   3.41092383e-01]
 [  1.06817066e-02   6.72928600e-01   3.16389693e-01]
 [  8.98402870e-04   6.64470713e-01   3.34630884e-01]
 [  4.06382037e-04   3.86192249e-01   6.13401369e-01]
 [  1.26979439e-01   8.69440588e-01   3.57997319e-03]
 [  8.75544317e-01   1.24437252e-01   1.84312617e-05]
 [  9.11209514e-01   8.87814689e-02   9.01671605e-06]
 [  3.86067682e-04   3.06912689e-01   6.92701243e-01]
 [  6.23261939e-03   7.19220636e-01   2.74546745e-01]
 [  8.90760124e-01   1.09235653e-01   4.22292409e-06]
 [  2.32339490e-03   4.47236837e-01   5.50439768e-01]
 [  8.59945211e-04   4.22804376e-01   5.76335679e-01]
 [  9.24814068e-01   7.51814638e-02   4.46852786e-06]
 [  2.01307999e-02   9.35166320e-01   4.47028801e-02]
 [  1.71215635e-02   5.07246971e-01   4.75631465e-01]
 [  1.83964097e-04   3.17849048e-01   6.81966988e-01]
 [  5.69461042e-01   4.30536566e-01   2.39269631e-06]
 [  8.26025475e-01   1.73971556e-01   2.96936737e-06]
 [  3.05327704e-04   5.15880492e-01   4.83814180e-01]
 [  4.69978972e-03   2.90561777e-01   7.04738434e-01]
 [  8.61077168e-01   1.38915993e-01   6.83858427e-06]
 [  6.99887637e-04   2.48614010e-01   7.50686102e-01]
 [  5.33421842e-02   8.31557126e-01   1.15100690e-01]
 [  2.34973018e-02   3.54915328e-01   6.21587370e-01]
 [  1.63311193e-03   3.48301765e-01   6.50065123e-01]
 [  7.72156866e-01   2.27838662e-01   4.47157219e-06]
 [  9.30816593e-01   6.91640361e-02   1.93708074e-05]]

也可以使用准确率来评估模型性能。

##利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_train,train_predict))
print('The accuracy of the Logistic Regression is:',metrics.accuracy_score(y_test,test_predict))

再者还能查看混淆矩阵，对角线为预测正确的类别，其余部分为预测错误。

##查看混淆矩阵
confusion_matrix_result=metrics.confusion_matrix(test_predict,y_test)
print('The confusion matrix result:\n',confusion_matrix_result)

##利用热力图对于结果进行可视化
plt.figure(figsize=(8,6))
sns.heatmap(confusion_matrix_result,annot=True,cmap='Blues')
plt.xlabel('Predicted labels')
plt.ylabel('True labels')
plt.show()

##The confusion matrix result:
##[[10  0   0]
##[0   8   2] 
##[0   2   8]]

绘制混淆矩阵使用了热力图，热力图主要用来可视化数字。

seaborn.heatmap(data, vmin=None, vmax=None, cmap=None, center=None, robust=False, annot=None, fmt='.2g', annot_kws=None, linewidths=0, linecolor='white', cbar=True, cbar_kws=None, cbar_ax=None, square=False, xticklabels='auto', yticklabels='auto', mask=None, ax=None, **kwargs)

上面的函数原型，咋一看有20多个参数，这咋记。其实参数除了data以外，其他的都有默认值，我们只要搞清楚data的类型就好了，这里的data，如果接收的是numpy二维数组的话，可以看到行标就是0,1,2，如果是DataFrame，就可以用列名来标记了。
其余的参数都是用来美化，主要使用下面两个参数

参数	说明
annot	默认为False，为True的话，会在格子上显示数字
vmax, vmin	热力图颜色取值的最大值，最小值，默认会从data中推导

其余参数.

2.4 逻辑回归原理

Logistic回归是一种分类方法，主要用于二分类，使用了Logistic函数（或称为Sigmoid函数）:

对应的函数图像：

当z≥0 时,y≥0.5,分类为1，当 z<0时,y<0.5,分类为0，其对应的y值我们可以视为类别1的概率预测值。
由

可得

逻辑回归如何根据样本点获得决策边界呢？观察sigmoid函数，当g(z)>0.5时，z>0。g(X^T * W)>0.5, X^T * W>0，此时意味着预估y=1。所以认为X^T * W = 0 是一个决策边界，当它大于或小于0时，逻辑回归模型分别预测不同的分类结果。只要g(z)中z设计足够合理，就能在不同情形下拟合出不同的决策边界，从而把不同的样本点分隔开来。
通过求导，还可以得到逻辑回归的损失函数：

计算所有样本的代价：

有了代价函数就能通过梯度下降的方式，迭代更新，获得最优参数：

这里的θ即为权重参数W。
整个过程其实是不断将点x(X1, X2)进行几何坐标变换的。
第一步将分布在整个二维平面的点x(X1, X2)通过线性投影映射到一维直线上成为点x(z)；
第二步将分布在整个一维直线的点x(z)通过sigmoid函数映射到一维线段(0, 1)中成为点x(g(z))；
第三步将所有点的坐标通过损失函数统一计算成一个值，如果这是最小值，相应的参数就是我们需要的理想值。
对于模型的训练而言：实质上来说就是利用数据求解出对应的模型的特定的ω。从而得到一个针对于当前数据的特征逻辑回归模型。
而对于多分类而言，将多个二分类的逻辑回归组合，即可实现多分类。