该比赛为DC练习赛，要求使用逻辑回归的方法，从给定的影响员工离职的因素和员工是否离职的记录，建立一个逻辑回归模型预测有可能离职的员工。
相关数据的介绍，请参考：比赛地址
1.探索数据
import numpy as np
import pandas as pd
# 读取数据
train = pd.read_csv('pfm_train.csv')
test = pd.read_csv('/pfm_test.csv')
print('train size:{}'.format(train.shape)) # train size:(1100, 31)
print('test size:{}'.format(test.shape)) #test size:(350, 30)
# 查看数据集中是否含有缺失值：无缺失值
# train.isnull().mean()
1.1 数据分析
# EmployeeNumber为员工ID，将其删除
train.drop(['EmployeeNumber'], axis = 1, inplace = True)
# 将Attrition（该字段为标签）移至最后一列，方便索引
Attrition = train['Attrition']
train.drop(['Attrition'], axis = 1, inplace = True)
train.insert(0, 'Attrition', Attrition)
使用pyecharts从各维度上对离职人数以及离职率进行分析
from pyecharts import Bar,Line,Grid
from pyecharts import Overlap
# 通过图表分析哪些因素是主要影响员工离职的因素
def get_chatrs(train, col):
data = train.groupby([col])['Attrition']
data_sum = data.sum() # 离职人数
data_mean = data.mean() # 离职率
bar = Bar(col, title_pos="45%")
bar.add('离职人数', data_sum.index, data_sum.values, mark_point = ['max'],
yaxis_formatter = '人', yaxis_max = 200 , legend_pos="40%", legend_orient="vertical",
legend_top="95%", bar_category_gap = '25%')
line = Line()
line.add('离职率', data_mean.index, data_mean.values, mark_point = ['max'], mark_line = ['average'],
yaxis_max = 0.8)
overlap = Overlap(width=900, height=400)
overlap.add(bar)
overlap.add(line, is_add_yaxis=True, yaxis_index=1)
return overlap
from pyecharts import Page
page = Page()
for col in train.columns[1:]:
page.add(get_chatrs(train, col))
page.render('pages.html')
page
运行此段代码后，发现图表数据显示有错误，检查代码没有发现问题，手动的在图表中刷新数据后，问题得到解决
# 公司总体的离职率在16.2%
train['Attrition'].mean()
通过观察图表发现以下问题
Q1：研发部门离职人数最多，这主要是因为该公司研发部门人数最多的原因，虽然人数多，但是研发部门离职率最低，离职率最高的部门是HR，该部门也是公司人数最少的部门，人员架构不太稳定？（综合其他因素如’Education‘、’JobRole‘等，也发现，HRD离职率很高
Department.png
Q2: 18岁-23岁员工离职率超过40%，23岁-33岁员工离职率在20%-40%
Age.png
Q3: 工作投入度为1等级的员工离职率有近40%，达到了38%！！！
JobInvolvement.png
Q4: 加班的员工离职率是不加班员工的三倍！！！
OverTime.png
进一步探索
部门&加班&收入
收入在较低水平的销售部门员工在加班的况下离职率达80%，且该部门员工在加班情况下，无论收入水平如何，离职率都高于公司的整体离职率
部门工作满意度
HRD员工离职的原因之一：工作满意度比较低，是否存在办公室政治的原因？
2.数据处理&特征处理
2.1 数据处理
# 在分析中发现有一些字段的值是单一的,进一步验证
single_value_feature = []
for col in train.columns:
lenght = len(train[col].unique())
if lenght == 1:
single_value_feature.append(col)
single_value_feature # ['Over18', 'StandardHours']
'Over18', 'StandardHours'这两个字段的值是唯一的，删除这两个字段
# 删除这两个字段
train.drop(['Over18', 'StandardHours'], axis = 1, inplace = True)
train.shape # (1100, 28)
由于数据集中没有缺失值，这里不需要对缺失值做处理
2.2 特征处理
主要是对部分特征进行分组以及one-hot编码
# 对收入进行分箱
print(train['MonthlyIncome'].min()) # 1009
print(train['MonthlyIncome'].max()) # 19999
print(test['MonthlyIncome'].min()) # 1051
print(test['MonthlyIncome'].max()) # 19973
为了在train和test中的MonthlyIncome进行分组后的区间一致，需要保持两个数据集中MonthlyIncome的最大值和最小值一致，这里使用等宽分组
由于test数据集中MonthlyIncome的最小值比train数据集中的最小值大，最大值比train数据集中的最大值小，需要人工插入最大值最小值后才能进行分组，这样在test数据集中MonthlyIncome的分组区间才能与train中MonthlyIncome分组一致，这个后面会进行具体操作
# 使用pandas的cut进行分组，分为10组
train['MonthlyIncome'] = pd.cut(train['MonthlyIncome'], bins=10)
# 将数据类型为‘object’的字段名提取出来，并使用one-hot-encode对其进行编码
col_object = []
for col in train.columns[1:]:
if train[col].dtype == 'object':
col_object.append(col)
col_object
对train数据集进行one-hot编码
train_encode = pd.get_dummies(train)
保存数据集，方便日后使用
train.to_csv('trainwithoutencode.csv')
train_encode.to_csv('train.csv')
2.3 特征共线性处理
corr = train.corr()
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
sns.heatmap(corr, xticklabels=corr.columns.values, yticklabels=corr.columns.values)
plt.show()
特征共线性
'TotalWorkingYears' & 'JobLevel'
'YearsAtCompany' & 'YearsWithCurrManager'存在共线性，选择删除其中一个特征即可
train_encode.drop(['TotalWorkingYears', 'YearsWithCurrManager'], axis = 1, inplace = True)
3. 建模预测
3.1 建模
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
X = train_encode.iloc[:, 1:]
y = train_encode.iloc[:, 0]
# 划分训练集以及测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2)
lr = LogisticRegression()
lr.fit(X_train, y_train)
lr.score(X_train, y_train) # 0.8886363636363637
由于存在随机性，最终在训练集上的score大约在0.88~0.9波动
pred = lr.predict(X_test)
np.mean(pred == y_test) # 0.8863636363636364
结果在测试集上的结果与训练集差不多，下面看一下预测结果的混淆矩阵是怎样的
from sklearn.metrics import confusion_matrix
from sklearn.metrics import precision_score, recall_score, f1_score
#对整个train数据集的混淆矩阵
y_pred = lr.predict(X)
confmat= confusion_matrix(y_true=y,y_pred=y_pred)#输出混淆矩阵
fig,ax = plt.subplots(figsize=(2.5,2.5))
ax.matshow(confmat,cmap=plt.cm.Blues,alpha=0.3)
for i in range(confmat.shape[0]):
for j in range(confmat.shape[1]):
ax.text(x=j,y=i,s=confmat[i,j],va='center',ha='center')
plt.xlabel('predicted label')
plt.ylabel('true label')
plt.show()
#召回率、准确率、F1
print ('precision:%.3f' %precision_score(y_true=y,y_pred=y_pred))
print ('recall:%.3f' %recall_score(y_true=y,y_pred=y_pred))
print ('F1:%.3f' %f1_score(y_true=y,y_pred=y_pred))
混淆矩阵
发现准确率和召回率都是很很满意，然后尝试调参，lr中可调整的参数不多，调整后发现模型的精度提高不是很大
3.2 预测
# test数据集处理
test.drop(['EmployeeNumber', 'Over18', 'StandardHours'], axis = 1, inplace = True)
test_MonthlyIncome = pd.concat((pd.Series([1009, 19999]), test['MonthlyIncome']))
# 在指定位置插入与train中MonthlyIncome的max、min一致的数值，之后再删除
test['MonthlyIncome'] = pd.cut(test_MonthlyIncome, bins=10)[2:] # 分组并去除对应的值
test_encode = pd.get_dummies(test)
test_encode.drop(['TotalWorkingYears', 'YearsWithCurrManager'], axis = 1, inplace = True)# 输出结果
sample = pd.DataFrame(lr.predict(test_encode))
sample.to_csv('sample.csv')
按照要求修改sample的格式后上传
结果排名
上传结果后，排在60名，top5%，还算可以的结果
4. 反思
- 对于逻辑回归，在参数上调整空间比较小，应该注重在特征工程上的处理，除了使用one-hot编码的方法外，还可以尝试使用归一化、标准表等等，使用交叉验证的方式查看模型的稳定性
- 也可以使用随机森林、GBDT等方法