一个简单的逻辑回归多分类例子与代码(python-sklearn实现)

《老饼讲解机器学习》http://ml.bbbdata.com/teach#123


目录

一.问题

二.流程与代码

(一) 流程

(二)代码

(三)模型表达式


sklearn逻辑回归多分类有两种模式:ovr与multinomial。

在multi_class设为auto的时候,如果二分类或者求解器为liblinear时,则为OVR,否则为multinomial, 

多分类时ovr与multinomial的区别请参考:《sklearn逻辑回归多分类ovr与multinomial》

本文讲解sklearn逻辑回归以multinomial模式做多分类的一个简单例子,并提取最后的模型表达式

一.问题

现已采集150组 鸢尾花数据:鸢尾花类别(山鸢尾,杂色鸢尾,弗吉尼亚鸢尾)与四个特征(花萼长度sepal length (cm) 、花萼宽度sepal width (cm)、花瓣长度petal length (cm)、花瓣宽度petal width (cm))。
则我们可以通过采集的数据训练一个决策模型,之后就可以用该模型进行预测鸢尾花类别

数据如下(即sk-learn中的iris数据):

花萼长度 花萼宽度 花瓣长度 花瓣宽度 花类别
5.1 3.5 1.4 0.2 0
4.9 3.0 1.4 0.2 0
4.7 3.2 1.3 0.2 0
... ... ... ... ...
5.0 3.3 1.4 0.2 0
7.0 3.2 4.7 1.4 1
6.4 3.2 4.5 1.5 1
6.9 3.1 4.9 1.5 1
... ... ... ... ...
5.7 2.8 4.1 1.3 1
6.3 3.3 6.0 2.5 2
5.8 2.7 5.1 1.9 2
7.1 3.0 5.9 2.1 2
... ... ... ... ...
5.9 3.0 5.1 1.8 2

二.流程与代码

(一) 流程

1.数据归一化(用sklearn的逻辑回归一般要作数据归一化)
2.用归一化数据训练逻辑回归模型
3.用训练好的逻辑回归模型预测。
4.模型参数提取

(二)代码

# -*- coding: utf-8 -*-
"""
sklearn逻辑回归多分类例子(带模型公式提取)
"""
from sklearn.linear_model import LogisticRegression
import numpy as np
from sklearn.datasets import load_iris
#----数据加载------

iris = load_iris()    
X    = iris.data
y    = iris.target
#----数据归一化------
xmin   = X.min(axis=0)
xmax   = X.max(axis=0)
X_norm = (X-xmin)/(xmax-xmin)

#-----训练模型--------------------
clf = LogisticRegression(random_state=0,multi_class='multinomial')            
clf.fit(X_norm,y)

#------模型预测-------------------------------
pred_y      = clf.predict(X_norm)
pred_prob_y    = clf.predict_proba(X_norm) 

#------------提取系数w与阈值b-----------------------
w_norm = clf.coef_                             # 模型系数(对应归一化数据)
b_norm = clf.intercept_                           # 模型阈值(对应归一化数据)
w    = w_norm/(xmax-xmin)                       # 模型系数(对应原始数据)
b    = b_norm -  (w_norm/(xmax - xmin)).dot(xmin)      # 模型阈值(对应原始数据)
# ------------用公式预测------------------------------
wxb = X.dot(w.T)+ b
wxb = wxb - wxb.sum(axis=1).reshape((-1, 1)) # 由于担心数值过大会溢出,对wxb作调整
self_prob_y = np.exp(wxb)/np.exp(wxb).sum(axis=1).reshape((-1, 1))
self_pred_y = self_prob_y.argmax(axis=1)


#------------打印信息--------------------------
print("\n------模型参数-------")     
print( "模型系数:",w)
print( "模型阈值:",b)
print("\n-----验证准确性-------")  
print("提取公式计算的概率与sklearn自带预测概率的最大误差", abs(pred_prob_y-self_prob_y).max())

运行结果:

------模型参数-------
模型系数: [[-0.3902573   0.65000868 -0.48485313 -1.16130665]
 [ 0.07259933 -0.59884596  0.0709145  -0.19934931]
 [ 0.31765797 -0.05116272  0.41393863  1.36065596]]
模型阈值: [ 3.18277053  2.06368594 -5.24645647]


-----验证准确性-------
提取公式计算的概率与sklearn自带预测概率的最大误差 3.3306690738754696e-16

(三)模型表达式

由模型系数,得到最后的模式表达式为:

P=\displaystyle\begin{bmatrix} \dfrac{e^{(-0.39x_1+0.65x_2-0.48x_3-1.16x_4+3.18)}}{e^{(-0.39x_1+0.65x_2-0.48x_3-1.16x_4+3.18)}+e^{( 0.07x_1 -0.59x_2 + 0.07x_3 -0.19x_4+2.06)}+e^{( 0.31x_1 -0.05x_2 + 0.41x_3 + 1.36x_4-5.24)}} \\ \\ \dfrac{e^{( 0.07x_1 -0.59x_2 + 0.07x_3 -0.19x_4+2.06)}}{e^{(-0.39x_1+0.65x_2-0.48x_3-1.16x_4+3.18)}+e^{( 0.07x_1 -0.59x_2 + 0.07x_3 -0.19x_4+2.06)}+e^{( 0.31x_1 -0.05x_2 + 0.41x_3 + 1.36x_4-5.24)}} \\ \\ \dfrac{e^{( 0.31x_1 -0.05x_2 + 0.41x_3 + 1.36x_4-5.24)}}{e^{(-0.39x_1+0.65x_2-0.48x_3-1.16x_4+3.18)}+e^{( 0.07x_1 -0.59x_2 + 0.07x_3 -0.19x_4+2.06)}+e^{( 0.31x_1 -0.05x_2 + 0.41x_3 + 1.36x_4-5.24)}} \end{bmatrix}

类别预测:哪个的值大,就是哪一类。
概率预测: P归一化后即类别。


备注: sklearn担心e的指数部分太大,产生数值溢出,会再做一些处理。详细见代码里的处理。


相关文章

逻辑回归过拟合分析与解决方案

sklearn:一个简单的逻辑回归例子

sklearn提取逻辑回归模型系数

逻辑回归建模完整流程

你可能感兴趣的:(#,逻辑回归,逻辑回归,机器学习,sklearn)