【逻辑回归】-案例练习

本周学习了逻辑回归的原理思路，利用历史考期成绩对学生本轮考试是否通过进行预测。以下为数据涉及字段：
省份，学生ID，考期，科目，分数，描述，是否通过，小组，班主任，学院名称，家族，子订单id，预估分，分数区间。
以上字段中，描述/考期/子订单id/学生id/分数区间经业务考虑属于无效或重复字段。
数据清洗部分省略，以下进行模型的数据处理。

一. 离散特征的处理

df.loc[df['分数']>=60,'target']=1
df.loc[df['分数']<60,'target']=0
df.head(5)

二. 连续特征标准化

from sklearn.linear_model import stochastic_gradient
from sklearn.cross_validation import StratifiedKFold

cat_columns=['省份','科目','小组','班主任','学员名称','家族']
num_columns=['预估分']
target_column='target'

encode_df=pd.get_dummies(df,columns=cat_columns)

df_x=encode_df.drop(columns=target_column)
df_y=encode_df[target_column]

df_y=df_y.values

num_mean=df_x[num_columns].mean()
num_std=df_x[num_columns].std()
num_normal=(df_x[num_columns]-num_mean)/num_std

df_x = df_x.drop(columns=num_columns) # 删除没有归一化的数值型数据

df_x = pd.concat([df_x,num_normal],axis = 1) # concat归一化数据

df_x = df_x.values

三. 训练/测试：数据集划分

from sklearn.model_selection import StratifiedShuffleSplit
sss = StratifiedShuffleSplit(n_splits=2,train_size=0.7)
for train_index,test_index in sss.split(df_x,df_y):
    trainx,testx = df_x[train_index],df_x[test_index]
    trainy,testy = df_y[train_index],df_y[test_index]

四. 构建模型

from sklearn.linear_model import SGDClassifier   #梯度下降
lr = SGDClassifier(loss="log",max_iter = 100)     #最大迭代次数少 100.
lr.fit(trainx,trainy)  

五.测试模型效果

from sklearn.metrics import roc_auc_score,precision_recall_curve,classification_report,roc_curve

pred = lr.predict_proba(testx)[:,1]  #预测概率
pred_labels = lr.predict(testx)   #预测0，1值

# ROC
print(roc_auc_score(testy,pred))  #预测roc曲线下的面积：0.907

# 分类报告
print(classification_report(testy,pred_labels))  

precision,recall,_ = precision_recall_curve(testy,pred)  #pre，recall，阈值。
plt.plot(recall,precision)

image.png

# roc curve
fpr,tpr,_ = roc_curve(testy,pred) #绘制roc曲线 
plt.plot(fpr,tpr)

image.png