逻辑回归使用（参数）

sklearn中的逻辑回归
1、概述

1.1 面试高危问题:Sigmoid函数的公式和性质

Sigmoid函数是一个S型的函数，当自变量z趋近正无穷时，因变量g(z)趋近于1，而当z趋近负无穷时，g(z)趋近 于0，它能够将任何实数映射到(0,1)区间，使其可用于将任意值函数转换为更适合二分类的函数。 因为这个性质，Sigmoid函数也被当作是归一化的一种方法，与我们之前学过的MinMaxSclaer同理，是属于 数据预处理中的“缩放”功能，可以将数据压缩到[0,1]之内。区别在于，MinMaxScaler归一化之后，是可以取 到0和1的(最大值归一化后就是1，最小值归一化后就是0)，但Sigmoid函数只是无限趋近于0和1。

1.2 为什么要使用逻辑回归？
线性回归对数据的要求很严格，比如标签必须满足正态分布，特征之间的多重共线性需要消除等等，而现实中很多真实情景的数据无法满足这些要求，因此线性回归在很多现实情境的应用效果有限。逻辑回归是由线性回归变化而来，因此它对数据也有一些要求，而我们之前已经学过了强大的分类模型决策树和随机森林，它们的分类效力很强，并且不需要对数据做任何预处理。
逻辑回归是一个受工业商业热爱，使用广泛的模型，因为它有着不可替代的优点:

1. 逻辑回归对线性关系的拟合效果好到丧心病狂，特征与标签之间的线性关系极强的数据，比如金融领域中的信用卡欺诈，评分卡制作，电商中的营销预测等等相关的数据，都是逻辑回归的强项。虽然现在有了梯度提升树GDBT，比逻辑回归效果更好，也被许多数据咨询公司启用，但逻辑回归在金融领域，尤其是银行业中的 统治地位依然不可动摇(相对的，逻辑回归在非线性数据的效果很多时候比瞎猜还不如，所以如果你已经知 道数据之间的联系是非线性的，千万不要迷信逻辑回归)

2. 逻辑回归计算快:对于线性数据，逻辑回归的拟合和计算都非常快，计算效率优于SVM和随机森林，亲测表示在大型数据上尤其能够看得出区别

3. 逻辑回归返回的分类结果不是固定的0，1，而是以小数形式呈现的类概率数字:我们因此可以把逻辑回归返回的结果当成连续型数据来利用。比如在评分卡制作时，我们不仅需要判断客户是否会违约，还需要给出确定的”信用分“，而这个信用分的计算就需要使用类概率计算出的对数几率，而决策树和随机森林这样的分类器，可以产出分类结果，却无法帮助我们计算分数(当然，在sklearn中，决策树也可以产生概率，使用接口 predict_proba调用就好，但一般来说，正常的决策树没有这个功能)。

4. 逻辑回归还有抗噪能力强的优点。福布斯杂志在讨论逻辑回归的优点时，甚至有着“技术上来说，最佳模型 的AUC面积低于0.8时，逻辑回归非常明显优于树模型”的说法。并且

5. 逻辑回归在小数据集上表现更好，在大型的数据集上，树模型有着更好的表现。
   由此，我们已经了解了逻辑回归的本质，它是一个返回对数几率的，在线性数据上表现优异的分类器，它主要被应 用在金融领域。其数学目的是求解能够让模型最优化的参数 的值，并基于参数 和特征矩阵计算出逻辑回归的结果 y(x)。注意:虽然我们熟悉的逻辑回归通常被用于处理二分类问题，但逻辑回归也可以做多分类。

1.3 sklearn中的逻辑回归

2、linear_model.LogisticRegression

2.1 二元逻辑回归的损失函数
在学习决策树和随机森林时，我们曾经提到过两种模型表现:在训练集上的表现，和在测试集上的表现。我们建模，是追求模型在测试集上的表现最优，因此模型的评估指标往往是用来衡量模型在测试集上的表现的。然而，逻辑回归有着基于训练数据求解参数 的需求，并且希望训练出来的模型能够尽可能地拟合训练数据，即模型在训练 集上的预测准确率越靠近100%越好。
因此，我们使用”损失函数“这个评估指标，来衡量参数的优劣，即这一组参数能否使模型在训练集上表现优异。 如果用一组参数建模后，模型在训练集上表现良好，那我们就说模型表现的规律与训练集数据的规律一致，拟合过程中的损失很小，损失函数的值很小，这一组参数就优秀;相反，如果模型在训练集上表现糟糕，损失函数就会很 大，模型就训练不足，效果较差，这一组参数也就比较差。即是说，我们在求解参数 时，追求损失函数最小，让 模型在训练数据上的拟合效果最优，即预测准确率尽量靠近100%。

由于我们追求损失函数的最小值，让模型在训练集上表现最优，可能会引发另一个问题:如果模型在训练集上表示优秀，却在测试集上表现糟糕，模型就会过拟合。虽然逻辑回归和线性回归是天生欠拟合的模型，但我们还是需要控制过拟合的技术来帮助我们调整模型，对逻辑回归中过拟合的控制，通过正则化来实现。

2.2 正则化:重要参数penalty & C

L1正则化和L2正则化虽然都可以控制过拟合，但它们的效果并不相同。当正则化强度逐渐增大(即C逐渐变小)， 参数的取值会逐渐变小，但L1正则化会将参数压缩为0，L2正则化只会让参数尽量小，不会取到0。
在L1正则化在逐渐加强的过程中，携带信息量小的、对模型贡献不大的特征的参数，会比携带大量信息的、对模型有巨大贡献的特征的参数更快地变成0，所以L1正则化本质是一个特征选择的过程，掌管了参数的“稀疏性”。L1正 则化越强，参数向量中就越多的参数为0，参数就越稀疏，选出来的特征就越少，以此来防止过拟合。因此，如果特征量很大，数据维度很高，我们会倾向于使用L1正则化。由于L1正则化的这个性质，逻辑回归的特征选择可以由 Embedded嵌入法来完成。相对的，L2正则化在加强的过程中，会尽量让每个特征对模型都有一些小的贡献，但携带信息少，对模型贡献不大的特征的参数会非常接近于0。通常来说，如果我们的主要目的只是为了防止过拟合，选择L2正则化就足够了。但 是如果选择L2正则化后还是过拟合，模型在未知数据集上的效果表现很差，就可以考虑L1正则化。而两种正则化下C的取值，都可以通过学习曲线来进行调整。

2.3. 优化算法选择参数：solver
solver参数决定了我们对逻辑回归损失函数的优化方法，有4种算法可以选择，分别是：

a) liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。

b) lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。

c) newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。

d) sag：即随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计算梯度，适合于样本数据多的时候。

从上面的描述可以看出，newton-cg, lbfgs和sag这三种优化算法时都需要损失函数的一阶或者二阶连续导数，因此不能用于没有连续导数的L1正则化，只能用于L2正则化。而liblinear通吃L1正则化和L2正则化。

同时，sag每次仅仅使用了部分样本进行梯度迭代，所以当样本量少的时候不要选择它，而如果样本量非常大，比如大于10万，sag是第一选择。但是sag不能用于L1正则化，所以当你有大量的样本，又需要L1正则化的话就要自己做取舍了。要么通过对样本采样来降低样本量，要么回到L2正则化。

从上面的描述，大家可能觉得，既然newton-cg, lbfgs和sag这么多限制，如果不是大样本，我们选择liblinear不就行了嘛！错，因为liblinear也有自己的弱点！我们知道，逻辑回归有二元逻辑回归和多元逻辑回归。对于多元逻辑回归常见的有one-vs-rest(OvR)和many-vs-many(MvM)两种。而MvM一般比OvR分类相对准确一些。郁闷的是liblinear只支持OvR，不支持MvM，这样如果我们需要相对精确的多元逻辑回归时，就不能选择liblinear了。也意味着如果我们需要相对精确的多元逻辑回归不能使用L1正则化了。

2.4. 分类方式选择参数：multi_class
multi_class参数决定了我们分类方式的选择，有 ovr和multinomial两个值可以选择，默认是 ovr。

• ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元逻辑回归，ovr和multinomial并没有任何区别，区别主要在多元逻辑回归上。
  OvR的思想很简单，无论你是多少元逻辑回归，我们都可以看做二元逻辑回归。具体做法是，对于第K类的分类决策，我们把所有第K类的样本作为正例，除了第K类样本以外的所有样本都作为负例，然后在上面做二元逻辑回归，得到第K类的分类模型。其他类的分类模型获得以此类推。

• 而MvM则相对复杂，这里举MvM的特例one-vs-one(OvO)作讲解。如果模型有T类，我们每次在所有的T类样本里面选择两类样本出来，不妨记为T1类和T2类，把所有的输出为T1和T2的样本放在一起，把T1作为正例，T2作为负例，进行二元逻辑回归，得到模型参数。我们一共需要T(T-1)/2次分类。

  从上面的描述可以看出OvR相对简单，但分类效果相对略差（这里指大多数样本分布情况，某些样本分布下OvR可能更好）。而MvM分类相对精确，但是分类速度没有OvR快。
  如果选择了ovr，则4种损失函数的优化方法liblinear，newton-cg, lbfgs和sag都可以选择。但是如果选择了multinomial,则只能选择newton-cg, lbfgs和sag了。

2.5. 类型权重参数： class_weight
class_weight参数用于标示分类模型中各种类型的权重，可以不输入，即不考虑权重，或者说所有类型的权重一样。如果选择输入的话，可以选择balanced让类库自己计算类型权重，或者我们自己输入各个类型的权重，比如对于0,1的二元模型，我们可以定义class_weight={0:0.9, 1:0.1}，这样类型0的权重为90%，而类型1的权重为10%。
如果class_weight选择balanced，那么类库会根据训练样本量来计算权重。某种类型样本量越多，则权重越低，样本量越少，则权重越高。
那么class_weight有什么作用呢？在分类模型中，我们经常会遇到两类问题：

• 第一种是误分类的代价很高。比如对合法用户和非法用户进行分类，将非法用户分类为合法用户的代价很高，我们宁愿将合法用户分类为非法用户，这时可以人工再甄别，但是却不愿将非法用户分类为合法用户。这时，我们可以适当提高非法用户的权重。
• 第二种是样本是高度失衡的，比如我们有合法用户和非法用户的二元样本数据10000条，里面合法用户有9995条，非法用户只有5条，如果我们不考虑权重，则我们可以将所有的测试集都预测为合法用户，这样预测准确率理论上有99.95%，但是却没有任何意义。这时，我们可以选择balanced，让类库自动提高非法用户样本的权重。提高了某种分类的权重，相比不考虑权重，会有更多的样本分类划分到高权重的类别，从而可以解决上面两类问题。
• 当然，对于第二种样本失衡的情况，我们还可以考虑用下一节讲到的样本权重参数： sample_weight，而不使用class_weight。sample_weight在下一节讲。

2.6. 样本权重参数： sample_weight
样本不失衡的问题，由于样本不平衡，导致样本不是总体样本的无偏估计，从而可能导致我们的模型预测能力下降。遇到这种情况，我们可以通过调节样本权重来尝试解决这个问题。调节样本权重的方法有两种，第一种是在class_weight使用balanced。第二种是在调用fit函数时，通过sample_weight来自己调节每个样本权重。

2.7.查看正则化效果

建立两个逻辑回归，L1正则化和L2正则化的差别就一目了然.
当我们选择L1正则化的时候，许多特征的参数都被设置为了0，这些特征在真正建模的时候，就不会出 现在我们的模型当中了，而L2正则化则是对所有的特征都给出了参数

from sklearn.linear_model import LogisticRegression as LR
	from sklearn.datasets import load_breast_cancer
	import numpy as np
	import matplotlib.pyplot as plt
	from sklearn.model_selection import train_test_split
	from sklearn.metrics import accuracy_score
	data = load_breast_cancer()
	X = data.data
	y = data.target
	data.data.shape
	lrl1 = LR(penalty="l1",solver="liblinear",C=0.5,max_iter=1000)
	lrl2 = LR(penalty="l2",solver="liblinear",C=0.5,max_iter=1000)
	#逻辑回归的重要属性coef_，查看每个特征所对应的参数 lrl1 = lrl1.fit(X,y)
	lrl1.coef_
	(lrl1.coef_ != 0).sum(axis=1)
	lrl2 = lrl2.fit(X,y)
	lrl2.coef_```

[[ 3.97861025  0.03134162 -0.13419484 -0.01617618  0.          0.
   0.          0.          0.          0.          0.          0.50264583
   0.         -0.07123482  0.          0.          0.          0.
   0.          0.          0.         -0.24500285 -0.1282512  -0.01443911
   0.          0.         -2.06288896  0.          0.          0.        ]]
--------------
[[ 1.61549719e+00  1.01736540e-01  4.67042924e-02 -4.32749399e-03
  -9.37378789e-02 -3.01111727e-01 -4.55313257e-01 -2.21624626e-01
  -1.34800792e-01 -1.93235661e-02  1.71858448e-02  8.79945361e-01
   1.25165761e-01 -9.49858899e-02 -9.76808365e-03 -2.41958374e-02
  -5.75460684e-02 -2.69561990e-02 -2.76277595e-02  1.14613754e-04
   1.27244164e+00 -3.01328685e-01 -1.73199861e-01 -2.22543337e-02
  -1.72387232e-01 -8.77974111e-01 -1.16155378e+00 -4.26129273e-01
  -4.17792442e-01 -8.67982282e-02]]```
  

究竟哪个正则化的效果更好呢?还是都差不多?
```
data=load_breast_cancer().data
target=load_breast_cancer().target

X_train,X_test,y_train,y_test=train_test_split(data,target,test_size=0.3,random_state=450)
lr1_=[]
lr1test=[]
lr2_=[]
lr2test=[]
for i in np.linspace(0.05,1,19):
    lrl1=LR(penalty='l1',solver='liblinear',C=i,max_iter=1000)
    lrl2=LR(penalty='l2',solver='liblinear',C=i,max_iter=1000)

    lrl1.fit(X_train,y_train)
    lr1_.append(accuracy_score(lrl1.predict(X_train),y_train))
    lr1test.append(accuracy_score(lrl1.predict(X_test),y_test))

    lrl2.fit(X_train, y_train)
    lr2_.append(accuracy_score(lrl2.predict(X_train),y_train))
    lr2test.append(accuracy_score(lrl2.predict(X_test),y_test))#accuracy_score:准确率
label = ["L1","L2","L1test","L2test"]
graph=[lr1_,lr1test,lr2_,lr2test]
color = ["green","black","lightgreen","gray"]

plt.figure(figsize=(12,5))
for i in range(len(graph)):
    plt.plot(np.linspace(0.5,1,19),graph[i],color=color[i],label=label[i])
plt.legend()
plt.show()
```

可见，至少在我们的乳腺癌数据集下，两种正则化的结果区别不大。但随着C的逐渐变大，正则化的强度越来越 小，模型在训练集和测试集上的表现都呈上升趋势，直到C=0.8左右，训练集上的表现依然在走高，但模型在未知 数据集上的表现开始下跌，这时候就是出现了过拟合。我们可以认为，C设定为0.9会比较好。在实际使用时，基本就默认使用l2正则化，如果感觉到模型的效果不好，那就换L1试试看。