sklearn中的逻辑回归
目录
逻辑回归
1.1 逻辑回归概述
1.2 为什么需要逻辑回归
1.3 sklearn中的逻辑回归
2 linear_model.LogisticRegression
2.3 梯度下降：重要参数max_iter
2.4 二元回归与多元回归：重要参数solver & multi_class
2.5 样本不平衡与参数class_weight
逻辑回归
1.1 逻辑回归概述
逻辑回归
是一种线性的分类器，一种由线性回归变化而来的广义回归算法
被统称为模型的参数，其中
被称为截距(intercept)， 
~
被称为系数(coefficient)，我们可以使用矩阵来表示这个方程，其中x和θ都可以被看作是一个列矩阵
线性回归的任务，就是构造一个预测函数 来映射输入的特征矩阵x和标签值y的线性关系，而构造预测函数的核心就是找出模型的参数：
和 ，著名的最小二乘法就是用来求解线性回归中参数的数学方法。
那如果我们的标签是离散型变量，尤其是，如果是满足0-1分布的离散型变量，我们要怎么办呢？我们可以通过引入联系函数(link function)，将线性回归方程z变换为g(z)，并且令g(z)的值分布在(0,1)之间，且当g(z)接近0时样本的标签为类别0，当g(z)接近1时样本的标签为类别1，这样就得到了一个分类模型。而这个联系函数对于逻辑回归来说，就是Sigmoid函数：
* Sigmoid函数的公式和性质
Sigmoid函数是一个S型的函数，当自变量z趋近正无穷时，因变量g(z)趋近于1，而当z趋近负无穷时，g(z)趋近于0，它能够将任何实数映射到(0,1)区间，使其可用于将任意值函数转换为更适合二分类的函数。
因为这个性质，Sigmoid函数也被当作是归一化的一种方法，与我们之前学过的MinMaxSclaer同理，是属于数据预处理中的“缩放”功能，可以将数据压缩到[0,1]之内。
区别在于，MinMaxScaler归一化之后，是可以取到0和1的（最大值归一化后就是1，最小值归一化后就是0），但Sigmoid函数只是无限趋近于0和1。
线性回归中
，于是我们将z带入，就得到了二元(标签是二分类)逻辑回归模型的一般形式：
而y(x)就是我们逻辑回归返回的标签值。此时，y(x)的取值都在[0,1]之间，因此y(x)和1-y(x)相加必然为1。如 果我们令y(x)除以1-y(x)可以得到形似几率(odds)的
，在此基础上取对数，可以很容易就得到：
不难发现，y(x)的形似几率取对数的本质其实就是我们的线性回归z，我们实际上是在对线性回归模型的预测结果取对数几率来让其的结果无限逼近0和1。
因此，其对应的模型被称为”对数几率回归“（logistic Regression），也就是我们的逻辑回归，这个名为“回归”却是用来做分类工作的分类器。
逻辑回归的核心任务：求解θ来构建一个能够尽量拟合数据的预测函数y(x) ，并通过向预测函数中输入特征矩阵来获取相应的标签值y。
* 思考：y(x)代表了样本为某一类标签的概率吗？
我们让线性回归结果逼近0和1，此时y(x)和1-y(x)之和为1，因此它们可以被我们看作是一对正反例发生的概率，即y(x)是某样本i的标签被预测为1的概率，而1-y(x)是i的标签被预测为0的概率，
1.2 为什么需要逻辑回归
逻辑回归依然是一个受工业商业热爱，使用广泛的模型，因为它有着不可替代的优点：
1. 逻辑回归对线性关系的拟合效果好到丧心病狂，特征与标签之间的线性关系极强的数据，比如金融领域中的信用卡欺诈，评分卡制作，电商中的营销预测等等相关的数据，都是逻辑回归的强项。虽然现在有了梯度提升树GDBT，比逻辑回归效果更好，也被许多数据咨询公司启用，但逻辑回归在金融领域，尤其是银行业中的统治地位依然不可动摇（相对的，逻辑回归在非线性数据的效果很多时候比瞎猜还不如，所以如果你已经知道数据之间的联系是非线性的，千万不要迷信逻辑回归）
2. 逻辑回归计算快：对于线性数据，逻辑回归的拟合和计算都非常快，计算效率优于SVM和随机森林，亲测表示在大型数据上尤其能够看得出区别
3. 逻辑回归返回的分类结果不是固定的0，1，而是以小数形式呈现的类概率数字：我们因此可以把逻辑回归返回的结果当成连续型数据来利用。比如在评分卡制作时，我们不仅需要判断客户是否会违约，还需要给出确定的”信用分“，而这个信用分的计算就需要使用类概率计算出的对数几率，而决策树和随机森林这样的分类器，可以产出分类结果，却无法帮助我们计算分数（当然，在sklearn中，决策树也可以产生概率，使用接口 predict_proba调用就好，但一般来说，正常的决策树没有这个功能）。
另外，逻辑回归还有抗噪能力强的优点。福布斯杂志在讨论逻辑回归的优点时，甚至有着“技术上来说，最佳模型的AUC面积低于0.8时，逻辑回归非常明显优于树模型”的说法。并且，逻辑回归在小数据集上表现更好，在大型的数据集上，树模型有着更好的表现。
由此，我们已经了解了逻辑回归的本质，它是一个返回对数几率的，在线性数据上表现优异的分类器，它主要被应用在金融领域。其数学目的是求解能够让模型对数据拟合程度最高的参数θ的值，以此构建预测函数y(x)，然后将特征矩阵输入预测函数来计算出逻辑回归的结果y。
注意，虽然我们熟悉的逻辑回归通常被用于处理二分类问题， 但逻辑回归也可以做多分类。
1.3 sklearn中的逻辑回归
| 逻辑回归相关的类 | 说明 |
| linear_model.LogisticRegression | 逻辑回归分类器（又叫logit回归，最大熵分类器） |
| linear_model.LogisticRegressionCV | 带交叉验证的逻辑回归分类器 |
| linear_model.logistic_regression_path | 计算Logistic回归模型以获得正则化参数的列表（调参） |
| linear_model.SGDClassifier | 利用梯度下降求解的线性分类器（SVM，逻辑回归等等） |
| linear_model.SGDRegressor | 利用梯度下降最小化正则化后的损失函数的线性回归模型 |
| metrics.log_loss | 对数损失，又称逻辑损失或交叉熵损失 |
| 其他会涉及的类 | 说明 |
| metrics.confusion_matrix | 混淆矩阵，模型评估指标之一 |
| metrics.roc_auc_score | ROC曲线，模型评估指标之一 |
| metrics.accuracy_score | 精确性，模型评估指标之一 |
2 linear_model.LogisticRegression
class sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None)
2.1 二元逻辑回归的损失函数
2.1.1 损失函数的概念与解惑
我们建模，是追求模型在测试集上的表现最优，因此模型的评估指标往往是用来衡量模型在测试集上的表现的。然而，逻辑回归有着基于训练数据求解参数θ的需求，并且希望训练出来的模型能够尽可能地拟合训练数据，即模型在训练集上的预测准确率越靠近100%越好。
因此，我们使用”损失函数“这个评估指标，来衡量参数为θ的模型拟合训练集时产生的信息损失的大小，并以此衡量参数θ的优劣。如果用一组参数建模后，模型在训练集上表现良好，那我们就说模型拟合过程中的损失很小，损失函数的值很小，这一组参数就优秀；相反，如果模型在训练集上表现糟糕，损失函数就会很大，模型就训练不足，效果较差，这一组参数也就比较差。即是说，我们在求解参数θ时，追求损失函数最小，让模型在训练数据上 的拟合效果最优，即预测准确率尽量靠近100%。
关键概念：损失函数
衡量参数θ的优劣的评估指标，用来求解最优参数的工具
损失函数小，模型在训练集上表现优异，拟合充分，参数优秀
损失函数大，模型在训练集上表现差劲，拟合不足，参数糟糕
我们追求，能够让损失函数最小化的参数组合
注意：没有”求解参数“需求的模型没有损失函数，比如KNN，决策树
逻辑回归的损失函数是由极大似然估计推导出来的，具体结果写作：
其中，
表示求解出来的一组参数，m是样本的个数，
是样本i上真是的标签，
是样本i上，基于参数计算出来的逻辑回归返回值，
是样本i各个特征的取值。我们的目标，就是求解出使
最小的取值。
注意，在逻辑回归的本质函数y(x)里，特征矩阵x是自变量，参数是。但在损失函数中，参数是损失函数的自变量，x和y都是已知的特征矩阵和标签，相当于是损失函数的参数。不同的函数中，自变量和参数各有不同，因此大家需要在数学计算中，尤其是求导的时候避免混淆。
由于我们追求损失函数的最小值，让模型在训练集上表现最优，可能会引发另一个问题：如果模型在训练集上表示优秀，却在测试集上表现糟糕，模型就会过拟合。
虽然逻辑回归和线性回归是天生欠拟合的模型，但我们还是需要控制过拟合的技术来帮助我们调整模型，对逻辑回归中过拟合的控制，通过正则化来实现。
2.1.2【选学】二元逻辑回归损失函数的数学解释，公式推导与解惑
在这里，我们基于极大似然法来推导二元逻辑回归的损失函数，这个推导过程能够帮助我们了解损失函数怎么得来的，以及为什么的最小化能够实现模型在训练集上的拟合最好。
请时刻记得我们的目标：让模型对训练数据的效果好，追求损失最小。
二元逻辑回归的标签服从伯努利分布(即0-1分布)，因此我们可以将一个特征向量为 ，参数为 的模型中的一个样本 i的预测情况表现为如下形式：
样本i在由特征向量和参数组成的预测函数中，样本标签被预测为1的概率为：
样本i在由特征向量和参数组成的预测函数中，样本标签被预测为0的概率为：
当P1的值为1的时候，代表样本i的标签被预测为1，当P0的值为1的时候，代表样本i的标签被预测为0。
当为1的时候，我们希望P1非常接近1， 当为0的时候，我们希望P0非常接近1，这样，模型的效果就很好，信息损失就很少。
将两种取值的概率整合，我们可以定义如下等式：
这个等式代表同时代表了P1和P0。
当样本i的真实标签为1的时候，1-就等于0，P0的0次方就是1，所以 
就等于P1 ，这个时候，如果P1为1，模型的效果就很好，损失就很小。
同理，当为0的时候，就等于P0，此时如果P0非常接近1，模型的效果就很好，损失就很小。
所以，为了达成让模型拟合好， 损失小的目的，我们每时每刻都希望的值等于1。
而的本质是样本i由特征向量和参数组成的预测函数中，预测出所有可能的
的概率，因此1是它的最大值。
也就是说，每时每刻，我们都在追求的最大值。
这就将模型拟合中的“最小化损失”问题，转换成了对函数求解极值的问题。
是对单个样本i而言的函数，对一个训练集的m个样本来说，我们可以定义如下等式来表达所有样本在特征矩阵X和参数组成的预测函数中，预测出所有可能的
的概率P为：
这就是一个，基于逻辑回归的返回值的概率性质得出的损失函数。
在这个函数上，我们只要追求最小值，就能让模型在训练数据上的拟合效果最好，损失最低。这个推导过程，其实就是“极大似然法”的推导过程。
2.2 重要参数penalty & C
2.2.1 正则化
正则化是用来防止模型过拟合的过程，常用的有L1正则化和L2正则化两种选项，分别通过在损失函数后加上参数向量θ的L1范式和L2范式的倍数来实现。这个增加的范式，被称为“正则项”，也被称为"惩罚项"。
损失函数改变，基于损失函数的最优化来求解的参数取值必然改变，我们以此来调节模型拟合的程度。其中L1范式表现为参数向量中的每个参数的绝对值之和，L2范数表现为参数向量中的每个参数的平方和的开方值。
其中是我们之前提过的损失函数，C是用来控制正则化程度的超参数，n是方程中特征的总数，也是方程中参数的总数，j代表每个参数。在这里，j要大于等于1，是因为我们的参数向量 θ中，第一个参数是，是我们的截距，它通常是不参与正则化的。
不过在大多数教材和博客中，常数项是乘以正则项，通过调控正则项来调节对模型的惩罚。而sklearn当中，常数项C是在损失函数的前面，通过调控损失函数本身的大小，来调节对模型的惩罚。
| 参数 | 说明 |
| penalty | 可以输入"l1"或"l2"来指定使用哪一种正则化方式，不填写默认"l2"。 注意，若选择"l1"正则化，参数solver仅能够使用求解方式”liblinear"和"saga“，若使用“l2”正则 化，参数solver中所有的求解方式都可以使用。 |
| C | C正则化强度的倒数，必须是一个大于0的浮点数，不填写默认1.0，即默认正则项与损失函数的比值是1：1。C越小，损失函数会越小，模型对损失函数的惩罚越重，正则化的效力越强，参数θ会逐渐被压缩得越来越小。 |
L1正则化和L2正则化虽然都可以控制过拟合，但它们的效果并不相同。当正则化强度逐渐增大（即C逐渐变小）， 参数θ的取值会逐渐变小，但L1正则化会将参数压缩为0，L2正则化只会让参数尽量小，不会取到0。
在L1正则化在逐渐加强的过程中，携带信息量小的、对模型贡献不大的特征的参数，会比携带大量信息的、对模型有巨大贡献的特征的参数更快地变成0，所以L1正则化本质是一个特征选择的过程，掌管了参数的“稀疏性”。L1正则化越强，参数向量中就越多的参数为0，参数就越稀疏，选出来的特征就越少，以此来防止过拟合。因此，如果特征量很大，数据维度很高，我们会倾向于使用L1正则化。由于L1正则化的这个性质，逻辑回归的特征选择可以由Embedded嵌入法来完成。
相对的，L2正则化在加强的过程中，会尽量让每个特征对模型都有一些小的贡献，但携带信息少，对模型贡献不大的特征的参数会非常接近于0。通常来说，如果我们的主要目的只是为了防止过拟合，选择L2正则化就足够了。但是如果选择L2正则化后还是过拟合，模型在未知数据集上的效果表现很差，就可以考虑L1正则化。
而两种正则化下C的取值，都可以通过学习曲线来进行调整。
建立两个逻辑回归，L1正则化和L2正则化的差别就一目了然了：
from sklearn.linear_model import LogisticRegression as LR
from sklearn.datasets import load_breast_cancer
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
data = load_breast_cancer()
X = data.data
y = data.target
X.shape
lrl1 = LR(penalty='l1',solver='liblinear',C=0.5,max_iter=1000)
lrl2 = LR(penalty='l2',solver='liblinear',C=0.5,max_iter=1000)
lrl1 = lrl1.fit(X,y)
#逻辑回归的重要属性coef_，查看每个特征所对应的参数
lrl1.coef_
(lrl1.coef_!=0).sum(axis=1)
lrl2 = lrl2.fit(X,y)
#逻辑回归的重要属性coef_，查看每个特征所对应的参数
lrl2.coef_可以看见，当我们选择L1正则化的时候，许多特征的参数都被设置为了0，这些特征在真正建模的时候，就不会出现在我们的模型当中了，而L2正则化则是对所有的特征都给出了参数。
究竟哪个正则化的效果更好呢？还是都差不多？
l1 = []
l2 = []
l1test=[]
l2test=[]
Xtrain,Xtest,Ytrain,Ytest = train_test_split(X,y,test_size=0.3,random_state=420)
for i in np.linspace(0.05,1,19):
lrl1 = LR(penalty='l1',solver='liblinear',C=i,max_iter=1000)
lrl2 = LR(penalty='l2',solver='liblinear',C=i,max_iter=1000)
lrl1 = lrl1.fit(Xtrain,Ytrain)
l1.append(accuracy_score(lrl1.predict(Xtrain),Ytrain))
l1test.append(accuracy_score(lrl1.predict(Xtest),Ytest))
lrl2 = lrl2.fit(Xtrain,Ytrain)
l2.append(accuracy_score(lrl2.predict(Xtrain),Ytrain))
l2test.append(accuracy_score(lrl2.predict(Xtest),Ytest))
graph = [l1,l2,l1test,l2test]
color = ["green","black","lightgreen","gray"]
label = ["L1","L2","L1test","L2test"]
plt.figure(figsize=(6,6))
for i in range(len(graph)):
plt.plot(np.linspace(0.05,1,19),graph[i],color[i],label=label[i])
plt.legend(loc=4)#图例的位置在哪里?4表示，右下角
plt.show() 
可见，至少在我们的乳腺癌数据集下，两种正则化的结果区别不大。但随着C的逐渐变大，正则化的强度越来越小，模型在训练集和测试集上的表现都呈上升趋势，直到C=0.8左右，训练集上的表现依然在走高，但模型在未知数据集上的表现开始下跌，这时候就是出现了过拟合。我们可以认为，C设定为0.8会比较好。在实际使用时，基本就默认使用l2正则化，如果感觉到模型的效果不好，那就换L1试试看。
2.2.2 逻辑回归中的特征工程
当特征的数量很多的时候，我们出于业务考虑，也出于计算量的考虑，希望对逻辑回归进行特征选择来降维。
- 业务选择
说到降维和特征选择，首先要想到的是利用自己的业务能力进行选择，肉眼可见明显和标签有关的特征就是需要留下的。当然，如果我们并不了解业务，或者有成千上万的特征，那我们也可以使用算法来帮助我们。或者，可以让算法先帮助我们筛选过一遍特征，然后在少量的特征中，我们再根据业务常识来选择更少量的特征。
- PCA和SVD一般不用
说到降维，我们首先想到的是之前提过的高效降维算法，PCA和SVD，遗憾的是，这两种方法大多数时候不适用于逻辑回归。逻辑回归是由线性回归演变而来，线性回归的一个核心目的是通过求解参数来探究特征X与标签y之间的关系，而逻辑回归也传承了这个性质，我们常常希望通过逻辑回归的结果，来判断什么样的特征与分类结果相关， 因此我们希望保留特征的原貌。PCA和SVD的降维结果是不可解释的，因此一旦降维后，我们就无法解释特征和标签之间的关系了。当然，在不需要探究特征与标签之间关系的线性数据上，降维算法PCA和SVD也是可以使用的。
- 统计方法可以使用，但不是非常必要
既然降维算法不能使用，我们要用的就是特征选择方法。逻辑回归对数据的要求低于线性回归，由于我们不是使用最小二乘法来求解，所以逻辑回归对数据的总体分布和方差没有要求，也不需要排除特征之间的共线性，但如果我们确实希望使用一些统计方法，比如方差，卡方，互信息等方法来做特征选择，也并没有问题。过滤法中所有的方法，都可以用在逻辑回归上。
在一些博客中有这样的观点：多重共线性会影响线性模型的效果。对于线性回归来说，多重共线性会影响比较大，所以我们需要使用方差过滤和方差膨胀因子VIF(variance inflation factor)来消除共线性。但是对于逻辑回归，其实不是非常必要，甚至有时候，我们还需要多一些相互关联的特征来增强模型的表现。当然，如果我们无法通过其他方式提升模型表现，并且你感觉到模型中的共线性影响了模型效果，那懂得统计学的你可以试试看用VIF消除共线性的方法，遗憾的是现在sklearn中并没有提供VIF的功能。
- 高效的嵌入法embedded
但是更有效的方法，毫无疑问会是我们的embedded嵌入法。我们已经说明了，由于L1正则化会使得部分特征对应的参数为0，因此L1正则化可以用来做特征选择，结合嵌入法的模块SelectFromModel，我们可以很容易就筛选出让模型十分高效的特征。注意，此时我们的目的是，尽量保留原数据上的信息，让模型在降维后的数据上的拟合效果保持优秀，因此我们不考虑训练集测试集的问题，把所有的数据都放入模型进行降维。
from sklearn.linear_model import LogisticRegression as LR
from sklearn.datasets import load_breast_cancer
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import SelectFromModel
data = load_breast_cancer()
X = data.data
y = data.target
LR_ = LR(solver='liblinear',C=0.9,random_state=420)
cross_val_score(LR_,X,y,cv=10).mean()
X_embedded = SelectFromModel(LR_,norm_order=1).fit_transform(X,y)
X_embedded.shape
cross_val_score(LR_,X_embedded,y,cv=10).mean()看看结果，特征数量被减小到个位数，并且模型的效果却没有下降太多，如果我们要求不高，在这里其实就可以停下了。但是，能否让模型的拟合效果更好呢？在这里，我们有两种调整方式：
1）调节SelectFromModel这个类中的参数threshold，这是嵌入法的阈值，表示删除所有参数的绝对值低于这个阈值的特征。现在threshold默认为None，所以SelectFromModel只根据L1正则化的结果来选择了特征，即选择了所有L1正则化后参数不为0的特征。我们此时，只要调整threshold的值（画出threshold的学习曲线），就可以观察不同的threshold下模型的效果如何变化。一旦调整threshold，就不是在使用L1正则化选择特征，而是使用模型的属性.coef_中生成的各个特征的系数来选择。coef_虽然返回的是特征的系数，但是系数的大小和决策树中的 feature_ importances_以及降维算法中的可解释性方差explained_vairance_概念相似，其实都是衡量特征的重要程度和贡献度的，因此SelectFromModel中的参数threshold可以设置为coef_的阈值，即可以剔除系数小于 threshold中输入的数字的所有特征。
fullx = []
fsx=[]
threshold = np.linspace(0,abs((LR_.fit(X,y).coef_)).max(),20)
k=0
for i in threshold:
X_embedded = SelectFromModel(LR_,threshold=i).fit_transform(X,y)
fullx.append(cross_val_score(LR_,X,y,cv=10).mean())
fsx.append(cross_val_score(LR_,X_embedded,y,cv=10).mean())
print((threshold[k],X_embedded.shape[1]))
k+=1
plt.figure(figsize=(20,5))
plt.plot(threshold,fullx,label="full")
plt.plot(threshold,fsx,label="feature selection")
plt.xticks(threshold)
plt.legend()
plt.show()
然而，这种方法其实是比较无效的，大家可以用学习曲线来跑一跑：当threshold越来越大，被删除的特征越来越多，模型的效果也越来越差，模型效果最好的情况下需要保证有17个以上的特征。实际上我画了细化的学习曲线， 如果要保证模型的效果比降维前更好，我们需要保留25个特征，这对于现实情况来说，是一种无效的降维：需要 30个指标来判断病情，和需要25个指标来判断病情，对医生来说区别不大。
2）第二种调整方法，是调逻辑回归的类LR_，通过画C的学习曲线来实现：
fullx = []
fsx=[]
C = np.arange(0.01,10.01,0.5)
for i in C:
LR_ = LR(solver='liblinear',C=i,random_state=420)
fullx.append(cross_val_score(LR_,X,y,cv=10).mean())
X_embedded = SelectFromModel(LR_,norm_order=1).fit_transform(X,y)
fsx.append(cross_val_score(LR_,X_embedded,y,cv=10).mean())
print(max(fsx),C[fsx.index(max(fsx))])
plt.figure(figsize=(20,5))
plt.plot(C,fullx,label="full")
plt.plot(C,fsx,label="feature selection")
plt.xticks(C)
plt.legend()
plt.show()
继续细化学习曲线：
fullx = []
fsx=[]
C = np.arange(7.25,7.75,0.001)
for i in C:
LR_ = LR(solver='liblinear',C=i,random_state=420)
fullx.append(cross_val_score(LR_,X,y,cv=10).mean())
X_embedded = SelectFromModel(LR_,norm_order=1).fit_transform(X,y)
fsx.append(cross_val_score(LR_,X_embedded,y,cv=10).mean())
print(max(fsx),C[fsx.index(max(fsx))])
plt.figure(figsize=(20,5))
plt.plot(C,fullx,label="full")
plt.plot(C,fsx,label="feature selection")
plt.xticks(C)
plt.legend()
plt.show()
LR_ = LR(solver='liblinear',C=7.257000000000002,random_state=420)
cross_val_score(LR_,X,y,cv=10).mean()0.9473057644110275
LR_ = LR(solver='liblinear',C=7.257000000000002,random_state=420)
X_embedded = SelectFromModel(LR_,norm_order=1).fit_transform(X,y)
cross_val_score(LR_,X_embedded,y,cv=10).mean()0.9561090225563911
这样我们就实现了在特征选择的前提下，保持模型拟合的高效。当然，除了嵌入法，系数累加法或者包装法也是可以使用的。
- 比较麻烦的系数累加法
系数累加法的原理非常简单。在PCA中，我们通过绘制累积可解释方差贡献率曲线来选择超参数，在逻辑回归中我 们可以使用系数coef_来这样做，并且我们选择特征个数的逻辑也是类似的：找出曲线由锐利变平滑的转折点，转折点之前被累加的特征都是我们需要的，转折点之后的我们都不需要。不过这种方法相对比较麻烦，因为我们要 对特征系数进行从大到小的排序，还要确保我们知道排序后的每个系数对应的原始特征的位置，才能够正确找出那 些重要的特征。如果要使用这样的方法，不如直接使用嵌入法来得方便。
- 简单快速的包装法
相对的，包装法可以直接设定我们需要的特征个数，逻辑回归在现实中运用时，可能会有”需要5~8个变量”这种需求，包装法此时就非常方便了。不过逻辑回归的包装法的使用和其他算法一样，并不具有特别之处。具体大家可以参考数据预处理和特征工程中的代码。
2.3 梯度下降：重要参数max_iter
逻辑回归的数学目的是求解能够让模型最优化，拟合程度最好的参数的值，即求解能够让损失函数最小化的值。对于二元逻辑回归来说，有多种方法可以用来求解参数，最常见的有梯度下降法(Gradient Descent)，坐标下降法(Coordinate Descent)，牛顿法(Newton-Raphson method)等，其中又以梯度下降法最为著名。每种方法都涉及复杂的数学原理，但这些计算在执行的任务其实是类似的。
2.3.1 梯度下降求解逻辑回归
在这个过程中，小球其实就是一组组的坐标点
；小球每次滚动的方向就是那一个坐标点的梯度向量的方向，因为每滚动一步，小球所在的位置都发生变化，坐标点和坐标点对应的梯度向量都发生了变化，所以每次滚动的方向也都不一样；人为设置的100次滚动限制，就是sklearn中逻辑回归的参数max_iter，代表着能走的最大步数，即最大迭代次数。
所以梯度下降，其实就是在众多![[\theta_{1},\theta_{2}]](http://img.e-com-net.com/image/info8/5a1d5ec0a4fa49c69764931e6ef25280.png){kind=small}
可能的值中遍历，一次次求解坐标点的梯度向量，不断让损失函数的取值J逐渐逼近最小值，再返回这个最小值对应的参数取值![[\theta_{1}^{*},\theta_{2}^{*}]](http://img.e-com-net.com/image/info8/c26c15c65a274b1b87b3987c3cb63a49.png){kind=small}
的过程。
2.3.2 梯度下降的概念与解惑
那梯度究竟如何定义呢？在多元函数上对各个自变量求∂偏导数，把求得的各个自变量的偏导数以向量的形式写出来，就是梯度。
求解梯度，是在损失函数
上对损失函数自身的自变量和
求偏导，而这两个自变量，刚好是逻辑回归的预测函数的参数。
那梯度有什么含义呢？梯度是一个向量，因此它有大小也有方向。它的大小，就是偏导数组成的向量的大小，又叫做向量的模，记作d。它的方向，几何上来说，就是损失函数的值增加最快的方向，就是小球每次滚动的方向的反方向。只要沿着梯度向量的反方向移动坐标，损失函数的取值就会减少得最快，也就最容易找到损失函数的最小值。 在逻辑回归中，我们的损失函数如下所示：
我们对这个函数上的自变量求偏导，就可以得到梯度向量在第j组的坐标点上的表示形式：
2.3.3 步长的概念与解惑
步长不是任何物理距离，它甚至不是梯度下降过程中任何距离的直接变化，它是梯度向量的大小 d上的一个比例，影响着参数向量每次迭代后改变的部分。
在我们开始梯度下降之前，我们并不知道什么样的步长才合适，但梯度下降一定要在某个时候停止才可以，否则模型可能会无限地迭代下去。因此，在 sklearn当中，我们设置参数max_iter最大迭代次数来代替步长，帮助我们控制模型的迭代速度并适时地让模型停下。max_iter越大，代表步长越小，模型迭代时间越长，反之，则代表步长设置很大，模型迭代时间很短。
迭代结束，获取到的最小值后，我们就可以找出这个最小值对应的参数向量，逻辑回归的预测函数也就可以 根据这个参数向量来建立了。
来看看乳腺癌数据集下，max_iter的学习曲线：
l2 = []
l2test = []
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3,random_state=420)
for i in np.arange(1,201,10):
lrl2 = LR(penalty="l2",solver="liblinear",C=0.9,max_iter=i)
lrl2 = lrl2.fit(Xtrain,Ytrain)
l2.append(accuracy_score(lrl2.predict(Xtrain),Ytrain))
l2test.append(accuracy_score(lrl2.predict(Xtest),Ytest))
graph = [l2,l2test]
color = ["black","gray"]
label = ["L2","L2test"]
plt.figure(figsize=(20,5))
for i in range(len(graph)):
plt.plot(np.arange(1,201,10),graph[i],color[i],label=label[i])
plt.legend(loc=4)
plt.xticks(np.arange(1,201,10))
plt.show()
#我们可以使用属性.n_iter_来调用本次求解中真正实现的迭代次数
lr = LR(penalty="l2",solver="liblinear",C=0.9,max_iter=300).fit(Xtrain,Ytrain)
lr.n_iter_
array([24], dtype=int32)
2.4 二元回归与多元回归：重要参数solver & multi_class
之前我们对逻辑回归的讨论，都是针对二分类的逻辑回归展开，其实sklearn提供了多种可以使用逻辑回归处理多分类问题的选项。比如说，我们可以把某种分类类型都看作1，其余的分类类型都为0值，和”数据预处理“中的二值 化的思维类似，这种方法被称为"一对多"(One-vs-rest)，简称OvR，在sklearn中表示为“ovr"。又或者，我们可以把好几个分类类型划为1，剩下的几个分类类型划为0值，这是一种”多对多“(Many-vs-Many)的方法，简称MvM，在 sklearn中表示为"Multinominal"。每种方式都配合L1或L2正则项来使用。
在sklearn中，我们使用参数multi_class来告诉模型，我们的预测标签是什么样的类型。
multi_class
输入"ovr", "multinomial", "auto"来告知模型，我们要处理的分类问题的类型。默认是"ovr"。
'ovr':表示分类问题是二分类，或让模型使用"一对多"的形式来处理多分类问题。
'multinomial'：表示处理多分类问题，这种输入在参数solver是'liblinear'时不可用。
"auto"：表示会根据数据的分类情况和其他参数来确定模型要处理的分类问题的类型。比如说，如果数据是二分 类，或者solver的取值为"liblinear"，"auto"会默认选择"ovr"。反之，则会选择"nultinomial"。
注意：默认值将在0.22版本中从"ovr"更改为"auto"。
我们之前提到的梯度下降法，只是求解逻辑回归参数的一种方法，并且我们只讲解了求解二分类变量的参数时的各种原理。sklearn为我们提供了多种选择，让我们可以使用不同的求解器来计算逻辑回归。求解器的选择，由参数"solver"控制，共有五种选择。其中“liblinear”是二分类专用，也是现在的默认求解器。
来看看鸢尾花数据集上，multinomial和ovr的区别怎么样：
from sklearn.datasets import load_iris
iris = load_iris()
for multi_class in ('multinomial','ovr'):
clf = LR(solver='sag',max_iter=100,random_state=42,
multi_class=multi_class).fit(iris.data,iris.target)
#打印两种multi_class模式下的训练分数
#%的用法，用%来代替打印的字符串中，想由变量替换的部分。%.3f表示，保留三位小数的浮点数。%s表示，字符串。
#字符串后的%后使用元组来容纳变量，字符串中有几个%，元组中就需要有几个变量
print("training score : %.3f (%s)" % (clf.score(iris.data, iris.target),
multi_class))training score : 0.987 (multinomial) training score : 0.960 (ovr)
2.5 样本不平衡与参数class_weight
样本不平衡是指在一组数据集中，标签的一类天生占有很大的比例，或误分类的代价很高，即我们想要捕捉出某种特定的分类的时候的状况。
什么情况下误分类的代价很高？例如，我们现在要对潜在犯罪者和普通人进行分类，如果没有能够识别出潜在犯罪 者，那么这些人就可能去危害社会，造成犯罪，识别失败的代价会非常高，但如果，我们将普通人错误地识别成了潜在犯罪者，代价却相对较小。所以我们宁愿将普通人分类为潜在犯罪者后再人工甄别，但是却不愿将潜在犯罪者分类为普通人，有种"宁愿错杀不能放过"的感觉。
再比如说，在银行要判断“一个新客户是否会违约”，通常不违约的人vs违约的人会是99：1的比例，真正违约的人其实是非常少的。这种分类状况下，即便模型什么也不做，全把所有人都当成不会违约的人，正确率也能有99%， 这使得模型评估指标变得毫无意义，根本无法达到我们的“要识别出会违约的人”的建模目的。
因此我们要使用参数class_weight对样本标签进行一定的均衡，给少量的标签更多的权重，让模型更偏向少数类， 向捕获少数类的方向建模。该参数默认None，此模式表示自动给与数据集中的所有标签相同的权重，即自动1： 1。当误分类的代价很高的时候，我们使用”balanced“模式，我们只是希望对标签进行均衡的时候，什么都不填就可以解决样本不均衡问题。
但是，sklearn当中的参数class_weight变幻莫测，大家用模型跑一跑就会发现，我们很难去找出这个参数引导的模型趋势，或者画出学习曲线来评估参数的效果，因此可以说是非常难用。
我们有着处理样本不均衡的各种方法，其中主流的是采样法，是通过重复样本的方式来平衡标签，可以进行上采样（增加少数类的样本），比如SMOTE， 或者下采样（减少多数类的样本）。对于逻辑回归来说，上采样是最好的办法。在案例中，会给大家详细来讲如何在逻辑回归中使用上采样。