数据挖掘竞赛预测模型一——逻辑回归

逻辑回归

sklearn中主要有LogisticRegression和LogisticRegressionCV：LogisticRegressionCV使用交叉验证选择正则化参数C，而LogisticRegression需要每次手动指定一个正则化参数

#LogisticRegression
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression( penalty = 'l2',
                         solver = 'liblinear',
                         multi_class = 'ovr',
                         class_weight = None,
                         C = 1,
                         random_state = None,
                         n_jobs = 1)
lr.fit(train_data,train_label)
test_pred = lr.predict(test_data)
test_proba = lr.predict_proba(test_data)

参数注解：

（1）penalty：正则化参数（l1、l2）

调参的目的是为了解决过拟合问题，一般penalty选用l2正则化即可，但还是过拟合，则考虑选择用l1正则化。假若模型特征过多，也可使用l1正则化生成特征系数的稀疏矩阵

（2）solver：优化算法参数（liblinear、lbfgs、newton-cg、sag）

当正则化参数选择l2时，四种优化算法均可使用；当正则化参数选择l1时，只能用liblinear。原因：l1正则化的损失函数不是连续可导，而newton-cg、lbfgs、sag这三种优化算法均需要算是函数的一阶或者二阶连续可导，而liblinear没有这个依赖

liblinear——使用坐标轴下降法来迭代优化损失函数

lbfgs——拟牛顿法，利用损失函数的二阶导数矩阵（海森矩阵）来迭代优化损失函数

newton-cg——牛顿法，利用损失函数二阶导数矩阵（海森矩阵）来迭代优化损失函数

sag——随机平均梯度下降，区别于普通梯度下降法，每次迭代仅仅使用一部分的样本计算梯度，适合样本数据多的情况。

（3）multi_class：分类方式参数（ovr、multinormial）

若是二元逻辑回归，其没有区别，区别在多元逻辑回归上。选择ovr，四种损失函数均可以选；假若选择multinomail,则只能选择newton-cg、lbfgs和sag

（4）class_weight：类型权重参数（None、balanced、自定义）

使用原因：误分类的代价太高；样本是高度失衡的。默认不输入None，可设置为balanced（让类库自己计算类型权重，样本量越多，权重越低），也可自己设定参数（如对于0,1的二元模型，定义class_weight={0:0.9, 1:0.1}）

（5）C：正则化参数

必须是正数，值越小，正则化强度越大，防止过拟合的程度越大。

模型方法：

predict(test)：返回预测值（0/1）

predict_proba(test)：返回每个类别的概率值（0,1）

predict_log_proba(test)：返回概率值的log值

get_params(deep=True)：返回估计器的参数