深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)

电信用户流失预测模型(含实现代码 )

  • 1、研究背景
  • 2、提出问题
  • 3、数据集描述
  • 4、分析思路
  • 5、分析结论 及 运营建议
    • 5.2、分析结论
    • 5.2、运营建议
      • 电子账单解锁新权益
      • “单身用户”专享娱乐福利
      • 大力推广特征中其他增值服务
      • 针对经济不独立用户做“充值赠送”
  • 6、数据清洗
    • 6.1、导入模块
      • 6.1.1、数据处理
      • 6.1.2、可视化
      • 6.1.3、特征工程
      • 6.1.4、分类算法
      • 6.1.5、分类算法--集成学习
      • 6.1.6、模型评估
      • 6.1.7、忽略警告
    • 6.2、读取数据
    • 6.3、数据清洗
      • 6.3.1、缺失值处理
      • 6.3.2、重复值处理
      • 6.3.3、数值类型转换
    • 6.4、查看样本分布
  • 7、特征选择
    • 7.1、整数编码
    • 7.2、独热编码
  • 8、统计分析
    • 8.1、频数分布比较
      • 8.1.1、卡方检验
      • 8.1.2、柱形图
      • 8.1.3、交叉分析
    • 8.2、均值比较
      • 8.2.0、齐性检验,方差分析
    • 8.3、总结
  • 9、特征工程
    • 9.1、提取特征
    • 9.2、处理“量纲差异大”
      • 9.2.1、标准化
      • 9.2.2 、特征离散化
    • 9.3、分类数据转换成“整数编码”
      • 9.3.1、查看churn_var中分类变量的label(标签)
      • 9.3.2、整数编码
    • 9.4、处理“样本不均衡”
  • 10、数据建模
  • 11、模型评估
  • 12、基于“XGB”模型输出特征重要性

1、研究背景

1、做好“用户流失预测”可以降低营销成本。老生常谈,“新客户开发成本”是“老客户维护成本”的5倍。
2、获得更好的用户体验。并不是所有的增值服务都可以有效留住客户。
3、获得更高的销售回报。价格敏感型客户和非价格敏感性客户

2、提出问题

1、流失客户有哪些显著性特征?
2、当客户在哪些特征下什么条件下比较容易发生流失?

3、数据集描述

该数据是datafountain上的《电信客户流失数据》点此下载数据
该数据集有21个变量,7043个数据点。变量可分为以下三个部分:用户属性、用户行为、研究对象
用户属性

customerID :用户ID。
gender:性别。(Female & Male)
SeniorCitizen :老年人 (1表示是,0表示不是)
Partner :是否有配偶 (Yes or No)
Dependents :是否经济独立 (Yes or No)
tenure :客户的职位(0-72,共73个职位)

用户行为
PhoneService :是否开通电话服务业务 (Yes or No)
MultipleLines:是否开通了多线业务(Yes 、No or No phoneservice 三种)
InternetService:是否开通互联网服务 (No, DSL数字网络,fiber optic光纤网络 三种)
OnlineSecurity:是否开通网络安全服务(Yes,No,No internetserive 三种)
OnlineBackup:是否开通在线备份业务(Yes,No,No internetserive 三种)
DeviceProtection:是否开通了设备保护业务(Yes,No,No internetserive 三种)
TechSupport:是否开通了技术支持服务(Yes,No,No internetserive 三种)
StreamingTV:是否开通网络电视(Yes,No,No internetserive 三种)
StreamingMovies:是否开通网络电影(Yes,No,No internetserive 三种)
Contract:签订合同方式 (按月,一年,两年)
PaperlessBilling:是否开通电子账单(Yes or No)
PaymentMethod:付款方式(bank transfer,credit card,electronic check,mailed check)
MonthlyCharges:月费用
TotalCharges:总费用

研究对象
Churn:该用户是否流失(Yes or No)

4、分析思路

“分析视角”是“分析方法”的灵魂。
分析方法有上百种,但“分析视角”只有四种:

  • 对比视角
  • 分类视角
  • 相关视角
  • 描述视角
    一旦将”业务需求“拆解成指标,接下来只需要针对每个指标进行”分析视角“四选一即可

数据集描述,已经将变量分为三个维度了:用户属性、用户行为、研究对象(是否流失客户),三个维度组合一下就得出了以下解题思路了:

  • 哪些属性的用户比较容易流失?
  • 哪些行为的用户比较容易流失?

以上两个分析思路运用的是【对比视角】,该视角下具体的分析方法有:

  • 数值型数据:均值比较
  • 分类型数据:频数分布比较(交叉分析)

以上的分析方法是统计分析,只能一个维度一个维度地去比较。但实际情况中,并不是每个维度的权重都一样的,那如何去研究各个维度的权重?

“权重问题”属于“分类视角”,故我们可以采用”分类模型",要用哪个”分类模型“呢?不知道。可以全部采用,看模型精度得分,然后选得分最高的模型进行进一步预测。

  • Random Forest 随机森林
  • SVC 支持向量机
  • LogisticRegression 逻辑回归
  • KNN 近邻算法
  • Naive Bayes 朴素贝叶斯
  • Decision Tree 决策树
  • AdaBoost
  • GradientBoosting
  • XGB
  • CatBoost

5、分析结论 及 运营建议

5.2、分析结论

深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第1张图片

综合“ 统计分析” 和 “XGB算法输出特征重要性” 得出流失客户有以下特征(依特征重要性从大到小排列):

  1. tenure:1-5号职位的用户比较容易流失
  2. PaymentMethod:使用“电子支票”支付的人
  3. MonthlyCharges 、TotalCharges:总费用在2281.92元以下,月费用在64.76元以上的客户比较容易流失
  4. PaperlessBilling:开通电子账单
  5. Partner:单身
  6. OnlineBackup:没开通“在线备份业务”
  7. InternetService:开通了 “Fiber optic 光纤网络”
  8. TechSupport:没开通“技术支持服务”
  9. DeviceProtection:没开通通了“设备保护业务
  10. OnlineSecurity:没开通“网络安全服务”
  11. Contract:“按月”签订合同方式
  12. Dependents:无经济独立
  13. SeniorCitizen :青年人
  14. TotalCharges:总费用在2281.92元以下,月费用在64.76元以上的客户比较容易流失

当条件覆盖得越多,人群越精确,但与此同时,覆盖的人群也会越少。业务方可直接在数据库中,通过SQL检索符合要求的客户,然后做针对性的运营工作。

5.2、运营建议

如何留住客户,可以从两方面去思考:

  • 增加用户的沉没成本(损失厌恶)
    • 会员等级
    • 积分制
    • 充值赠送
    • 满减券
    • 其他增值服务
  • 培养用户的条件反射(习惯)
    • 会员日
    • 定期用户召回
    • 签到
    • 每日定时抽奖
    • 小游戏

电子账单解锁新权益

  • 现象:“开通电子账单”的人反而容易流失
  • 基本假设:价格敏感型客户。电子账单,让客户理性消费。
  • 建议:让“电子账单”变成一项“福利。跟连锁便利店,联名发"商品满减券",每月的账单时间,就将"商品满减券“和账单一起推送过去。文案:您上月消费了XX元,解锁了xx会员权益。
  • 底层规律:增加沉没成本。

“单身用户”专享娱乐福利

针对单身用户,我们可以理解他的社交动机薄弱,那我们可以根据单身人士常见的消遣方式:看综艺、刷短视频、看小说、玩游戏等,在电信套餐中增加这些福利。

大力推广特征中其他增值服务

开通在线备份、技术支持服务、设备保护、网络安全等服务可以降低用户的流失。
”在线备份“业务,可以增加沉没成本。其他三项,相当购买一个保险,是个很抽象的业务,客户很难有切身体验。”在线备份“,你在电信平台,备份的东西越多,你迁移的成本越高,也就是沉没成本越高。所以该服务可以给没开通的用户免费体验一个月,鼓励大家备份东西。

针对经济不独立用户做“充值赠送”

经济不独立用户流失,这个我们很容易联想到学生。针对于学生,电信公司是会独自推出“校园套餐”,最常做的做法就是,充值返钱,充50送200,然后分10个月返,假如你的月租是50,其实这个活动是10个“充50送20”的活动

6、数据清洗

6.1、导入模块

6.1.1、数据处理

import pandas as pd
import numpy as np

6.1.2、可视化

import matplotlib.pyplot as plt
import seaborn as sns
sns.set(style='darkgrid',font_scale=1.3)
plt.rcParams['font.family']='SimHei'
plt.rcParams['axes.unicode_minus']=False

6.1.3、特征工程

import sklearn
from sklearn import preprocessing                            #数据预处理模块
from sklearn.preprocessing import LabelEncoder               #编码转换
from sklearn.preprocessing import StandardScaler             #归一化
from sklearn.model_selection import StratifiedShuffleSplit   #分层抽样
from sklearn.model_selection import train_test_split         #数据分区
from sklearn.decomposition import PCA                        #主成分分析 (降维)

6.1.4、分类算法

from sklearn.ensemble import RandomForestClassifier     #随机森林
from sklearn.svm import SVC,LinearSVC                   #支持向量机
from sklearn.linear_model import LogisticRegression     #逻辑回归
from sklearn.neighbors import KNeighborsClassifier      #KNN算法
from sklearn.cluster import KMeans                     #K-Means 聚类算法
from sklearn.naive_bayes import GaussianNB              #朴素贝叶斯
from sklearn.tree import DecisionTreeClassifier         #决策树

6.1.5、分类算法–集成学习

import xgboost as xgb
from xgboost import XGBClassifier                      
from catboost import CatBoostClassifier                
from sklearn.ensemble import AdaBoostClassifier        
from sklearn.ensemble import GradientBoostingClassifier 

6.1.6、模型评估

from sklearn.metrics import classification_report,precision_score,recall_score,f1_score  #分类报告
from sklearn.metrics import confusion_matrix           #混淆矩阵
from sklearn.metrics import silhouette_score           #轮廓系数(评价k-mean聚类效果)
from sklearn.model_selection import GridSearchCV       #交叉验证
from sklearn.metrics import make_scorer
from sklearn.ensemble import VotingClassifier          #投票

6.1.7、忽略警告

import warnings
warnings.filterwarnings('ignore')

6.2、读取数据

df=pd.read_csv(r'C:\Users\Think\Desktop\刻意练习数据\电信数据集\Customer-Churn.csv',header=0)
#预览数据
df.head()
#查看数据大小
df.shape
#查看数据数据及分布
df.describe()

这里安利一下“spyder"编辑器,下图是spyder编辑器的界面。编程过程中,有“赋值”变量的操作,该编辑器都会在右上角呈现,双击一下,就可以像在Execel上查看数据,非常方便。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第2张图片
查看该数据集的详情:
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第3张图片

6.3、数据清洗

6.3.1、缺失值处理

#查看缺失值
df.isnull().sum()

注:缺失值的数据类型是 float 类型。一旦有变量的数据类型转换成“float 类型”,需再次查看缺失值
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第4张图片

6.3.2、重复值处理

#查看重复值
df.duplicated().sum()

【输出】
在这里插入图片描述

6.3.3、数值类型转换

#查看数据类型
df.info()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第5张图片
"TotalCharages"总费用应该跟“MonthlvCharges”是同一个类型–float64。故需将"TotalCharages"由“object”转换成“float64”,且需要再次查看“缺失值”。

#总费用 TotalCharges  该列的数据类型应是float64,不是object
# df['TotalCharges'].astype('float64')
# 此处用“astype”转化数据类型报错 “could not convert string to float”
#改用强制转化 convert_numeric=True   
df['TotalCharges']=df['TotalCharges'].convert_objects(convert_numeric=True)
df['TotalCharges'].dtype

【输出】
在这里插入图片描述
再次查看“缺失值”
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第6张图片
TotalCharges列有11个缺失值,处理缺失值的原则是尽量填充,最后才是删除。
缺失值填充的原则:

  • 分类型数据:众数填充
  • 数值型数据:正态分布,均值/中位数填充;偏态分布,中位数填充。

TotalCharges列是数值型数据,先画直方图查看数据分布形态

#分别作直方图:全部客户类型、流失客户类型、留存客户类型
plt.figure(figsize=(14,5))
plt.subplot(1,3,1)
plt.title('全部客户的总付费直方图')
sns.distplot(df['TotalCharges'].dropna())

plt.subplot(1,3,2)
plt.title('流失客户的总付费直方图')
sns.distplot(df[df['Churn']=='Yes']['TotalCharges'].dropna())

plt.subplot(1,3,3)
plt.title('留存客户的总付费直方图')
sns.distplot(df[df['Churn']=='No']['TotalCharges'].dropna())

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第7张图片
【分析】
从三个直方图看,该列数据是偏态分布,故选择“中位数”填充

df.fillna({'TotalCharges':df['TotalCharges'].median()},inplace=True)
#再次确认是否还有空值
df.isnull().sum()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第8张图片

6.4、查看样本分布

研究对象’Churn’列重新编码“Yes”=1,“No“=0
重新编码有两种方法:
方法一:replace

df['Churn'].replace(to_replace = 'Yes', value = 1,inplace = True)
df['Churn'].replace(to_replace = 'No', value = 0,inplace = True)

方法二:map函数

df['Churn']=df['Churn'].map({'Yes':1,'No':0})

预览

df['Churn'].head()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第9张图片
绘制饼图,查看流失客户占比

churn_value=df["Churn"].value_counts()
labels=df["Churn"].value_counts().index

plt.figure(figsize=(7,7))
plt.pie(churn_value,labels=labels,colors=["b","w"], explode=(0.1,0),autopct='%1.1f%%', shadow=True)
plt.title("流失客户占比高达26.5%")
plt.show()  

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第10张图片
【分析】:
流失客户样本占比26.5%,留存客户样本占比73.5%,明显的“样本不均衡”。
解决样本不均衡有以下方法可以选择:

  • 分层抽样
  • 过抽样
  • 欠抽样

7、特征选择

提取特征

feature=df.iloc[:,1:20]

7.1、整数编码

查看变量间的两两相关性

#重新编码
corr_df = feature.apply(lambda x: pd.factorize(x)[0])
corr_df.head()
#相关性矩阵
corr=corr_df.corr()
corr

【输出】深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第11张图片
相关性矩阵可视化

#绘制热力图观察变量之间的相关性强弱
plt.figure(figsize=(15,12))
ax = sns.heatmap(corr, xticklabels=corr.columns, yticklabels=corr.columns, 
                 linewidths=0.2, cmap="RdYlGn",annot=True)
plt.title("Correlation between variables")

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第12张图片
【分析】:
从热力图来看,互联网服务、网络安全、在线备份、设备维护服务、技术支持服务、开通网络电视服务、开通网络电影之间相关性很强,且是正相关。
电话服务和多线业务之间也存在很强的正相关关系。

7.2、独热编码

查看研究对象"Churn"与其他变量下的标签相关性。
独热编码,可以将分类变量下的标签转化成列

df_onehot = pd.get_dummies(df.iloc[:,1:21])
df_onehot.head()

【输出】深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第13张图片
绘图查看 用户流失(‘Churn’)与各个维度之间的关系

plt.figure(figsize=(15,6))
df_onehot.corr()['Churn'].sort_values(ascending=False).plot(kind='bar')
plt.title('Correlation between Churn  and variables ')

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第14张图片
【分析】:
从图看gender(性别)、PhoneService(电话服务)相关性几乎为0,故两个维度可以忽略。
[‘SeniorCitizen’,‘Partner’,‘Dependents’,MultipleLines,‘InternetService’, ‘OnlineSecurity’, ‘OnlineBackup’, ‘DeviceProtection’,
‘TechSupport’, ‘StreamingTV’, ‘StreamingMovies’, ‘Contract’,
‘PaperlessBilling’,‘PaymentMethod’]等都有较高的相关性,将以上维度合并成一个列表kf_var,然后进行频数比较

kf_var=list(df.columns[2:5])
for var in list(df.columns[7:18]):
    kf_var.append(var)
print('kf_var=',kf_var)

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第15张图片

8、统计分析

8.1、频数分布比较

8.1.1、卡方检验

组间有显著性差异,频数分布比较才有意义,否则可能会做无用功。
“卡方检验”,就是提高频数比较结论可信度的统计方法。

#分组间确实是有显著性差异,频数比较的结论才有可信度,故需进行”卡方检验“
from scipy.stats import chi2_contingency   #统计分析 卡方检验
#自定义卡方检验函数
def KF(x):
    df1=pd.crosstab(df['Churn'],df[x])
    li1=list(df1.iloc[0,:])
    li2=list(df1.iloc[1,:])
    kf_data=np.array([li1,li2])
    kf=chi2_contingency(kf_data)
    if kf[1]<0.05:
        print('Churn by {} 的卡方临界值是{:.2f},小于0.05,表明{}组间有显著性差异,可进行【交叉分析】'.format(x,kf[1],x),'\n')
    else:
        print('Churn by {} 的卡方临界值是{:.2f},大于0.05,表明{}组间无显著性差异,不可进行交叉分析'.format(x,kf[1],x),'\n')
#对 kf_var进行卡方检验
print('kf_var的卡方检验结果如下:','\n')
print(list(map(KF, kf_var)))

【输出】
kf_var的卡方检验结果如下:

Churn by SeniorCitizen 的卡方临界值是0.00,小于0.05,表明SeniorCitizen组间有显著性差异,可进行【交叉分析】

Churn by Partner 的卡方临界值是0.00,小于0.05,表明Partner组间有显著性差异,可进行【交叉分析】

Churn by Dependents 的卡方临界值是0.00,小于0.05,表明Dependents组间有显著性差异,可进行【交叉分析】

Churn by MultipleLines 的卡方临界值是0.99,大于0.05,表明MultipleLines组间无显著性差异,不可进行交叉分析

Churn by InternetService 的卡方临界值是0.00,小于0.05,表明InternetService组间有显著性差异,可进行【交叉分析】

Churn by OnlineSecurity 的卡方临界值是0.00,小于0.05,表明OnlineSecurity组间有显著性差异,可进行【交叉分析】

Churn by OnlineBackup 的卡方临界值是0.00,小于0.05,表明OnlineBackup组间有显著性差异,可进行【交叉分析】

Churn by DeviceProtection 的卡方临界值是0.00,小于0.05,表明DeviceProtection组间有显著性差异,可进行【交叉分析】

Churn by TechSupport 的卡方临界值是0.00,小于0.05,表明TechSupport组间有显著性差异,可进行【交叉分析】

Churn by StreamingTV 的卡方临界值是0.00,小于0.05,表明StreamingTV组间有显著性差异,可进行【交叉分析】

Churn by StreamingMovies 的卡方临界值是0.00,小于0.05,表明StreamingMovies组间有显著性差异,可进行【交叉分析】

Churn by Contract 的卡方临界值是0.00,小于0.05,表明Contract组间有显著性差异,可进行【交叉分析】

Churn by PaperlessBilling 的卡方临界值是0.00,小于0.05,表明PaperlessBilling组间有显著性差异,可进行【交叉分析】

Churn by PaymentMethod 的卡方临界值是0.00,小于0.05,表明PaymentMethod组间有显著性差异,可进行【交叉分析】

【结论】:
#从卡方检验的结果,kf_var包含的特征,组间都有显著性差异,可进行频数比较

8.1.2、柱形图

频数比较–柱形图

plt.figure(figsize=(20,25))
a=0
for k in kf_var:
    a=a+1
    plt.subplot(4,4,a)
    plt.title('Churn BY '+ k)
    sns.countplot(x=k,hue='Churn',data=df)

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第16张图片
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第17张图片
因为PaymentMethod的标签比较长,影响看图,所以单独画

plt.xticks(rotation=45)
sns.countplot(x='PaymentMethod',hue='Churn',data=df)

深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第18张图片
【分析】
可以直接从柱形图去判断对哪个维度对流失客户的影响大吗?不能,因为“样本不均衡”(流失客户样本占比26.5%,留存客户样本占比73.5%),基数不一样,故不能直接通过“频数”的柱形图去分析。
解决办法:交叉分析,且作同行百分比('Churn’作为“行”)

8.1.3、交叉分析

print('ka_var列表中的维度与Churn交叉分析结果如下:','\n')
for i in kf_var:
    print('................Churn BY {}...............'.format(i))
    print(pd.crosstab(df['Churn'],df[i],normalize=0),'\n') #交叉分析,同行百分比

【输出】
ka_var列表中的维度与Churn交叉分析结果如下:
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第19张图片
【SeniorCitizen 分析】:年轻用户 在流失、留存,两个标签的人数占比都高。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第20张图片
【Parter 分析】:单身用户更容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第21张图片
【Denpendents 分析】:经济不独立的用户更容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第22张图片
【MultipleLines 分析】:是否开通MultipleLines,对留存和流失都没有明显的促进作用。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第23张图片
【InternetService 分析】:办理了 “Fiber optic 光纤网络”的客户容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第24张图片
【OnlineSecurity 分析】:没开通“网络安全服务”的客户容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第25张图片
【OnlineBackup 分析】:没开通“在线备份服务”的客户容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第26张图片
【DeviceProtection 分析】:没开通“设备保护业务”的用户比较容易流失
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第27张图片
【TechSupport 分析】:没开通“技术支持服务”的用户容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第28张图片
【StreamingTV 分析】:是否开通“网络电视”服务,对用户留存、流失,没有明显的促进作用。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第29张图片
【StreamingMovies 分析】:是否开通“网络电影”服务,对用户留存、流失,没有明显的促进作用。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第30张图片【Contract 分析】逐月签订合同的用户最容易流失。
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第31张图片

因为"Churn BY PaymentMethod"打印出来显示不全,故我就从临时表将“交叉表”给截图出来了: 在这里插入图片描述
【分析】使用“电子支票”支付的人更容易流失。

8.2、均值比较

组间有显著性差异,均值比较才有意义。
显著性检验,先通过了齐性检验,再通过方差分析,最后才能做均值比较。

8.2.0、齐性检验,方差分析

#自定义齐性检验 & 方差分析 函数
def ANOVA(x):
    li_index=list(df['Churn'].value_counts().keys())
    args=[]
    for i in li_index:
        args.append(df[df['Churn']==i][x])
    w,p=stats.levene(*args)             #齐性检验
    if p<0.05:
        print('警告:Churn BY {}的P值为{:.2f},小于0.05,表明齐性检验不通过,不可作方差分析'.format(x,p),'\n')
    else:
        f,p_value=stats.f_oneway(*args) #方差分析
        print('Churn BY {} 的f值是{},p_value值是{}'.format(x,f,p_value),'\n')
        if p_value<0.05:
            print('Churn BY {}的均值有显著性差异,可进行均值比较'.format(x),'\n')
        else:
            print('Churn BY {}的均值无显著性差异,不可进行均值比较'.format(x),'\n')

对MonthlyCharges、TotalCharges维度分别进行齐性检验和方差分析

print('MonthlyCharges、TotalCharges的齐性检验 和方差分析结果如下:','\n')
ANOVA('MonthlyCharges')
ANOVA('TotalCharges')

【输出】:
MonthlyCharges、TotalCharges的齐性检验 和方差分析结果如下:

警告:Churn BY MonthlyCharges的P值为0.00,小于0.05,表明齐性检验不通过,不可作方差分析

警告:Churn BY TotalCharges的P值为0.00,小于0.05,表明齐性检验不通过,不可作方差分析

8.3、总结

用户出现以下特征比较容易流失:

  • SeniorCitizen:青年人
  • Partner :单身
  • Dependents :无经济独立
  • InternetService:开通了 “Fiber optic 光纤网络”
  • OnlineSecurity:没开通“网络安全服务”
  • OnlineBackup:没开通“在线备份业务”
  • DeviceProtection:没开通通了“设备保护业务
  • TechSupport:没开通“技术支持服务”
  • Contract:“按月”签订合同方式
  • PaperlessBilling:开通电子账单
  • PaymentMethod:使用“电子支票”支付的人

我们可以在SQL(数据库)上找有以上特征的客户,进行精准营销,即可以降低用户流失。虽然特征选得越多,越精确,但覆盖的人群也会越少。故,我们还需要计算“特征”的【重要性】,将最为重要的几个特征作为筛选条件。

计算特征的【重要性】,是“分类视角”,接下来我们会挑选常见的分类模型,进行批量训练,然后挑出得分最高的模型,进一步计算“特征重要性”。

9、特征工程

9.1、提取特征

有前面的流失率与各个维度的相关系数柱状图可知:
流失率与gender(性别)、PhoneService(电话服务)相关性几乎为0,可以筛选掉,而customerID是随机数,不影响建模,故可以筛选掉。最终得到特征 churn_var

churn_var=df.iloc[:,2:20]
churn_var.drop("PhoneService",axis=1, inplace=True)
churn_var.head()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第32张图片

9.2、处理“量纲差异大”

“MonthlyCharges"、"TotalCharges"两个特征跟其他特征相比,量纲差异大
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第33张图片
处理量纲差异大,有两种方法:

  1. 标准化
  2. 离散化
    以上两种方法,哪个能让模型精度提高,就选哪个。根据模型的最后得分,我选了“离散化”来处理量纲差异大。

9.2.1、标准化

scaler = StandardScaler(copy=False)
scaler.fit_transform(churn_var[['MonthlyCharges','TotalCharges']])  #fit_transform拟合数据
churn_var[['MonthlyCharges','TotalCharges']]=scaler.transform(churn_var[['MonthlyCharges','TotalCharges']])  #transform标准化

print(churn_var[['MonthlyCharges','TotalCharges']].head() )#查看拟合结果

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第34张图片

9.2.2 、特征离散化

特征离散化后,模型易于快速迭代,且模型更稳定
1、处理’MonthlyCharges’:

#查看'MonthlyCharges'列的4分位
churn_var['MonthlyCharges'].describe() 

深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第35张图片
离散操作
18.25= 35.5 70.35 89.85=

#用四分位数进行离散
churn_var['MonthlyCharges']=pd.qcut(churn_var['MonthlyCharges'],4,labels=['1','2','3','4'])
churn_var['MonthlyCharges'].head()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第36张图片
2、处理’TotalCharges’:

#查看'TotalCharges'列的4分位
churn_var['TotalCharges'].describe()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第37张图片
离散操作:
18= 402 1397 3786

#用四分位数进行离散 
churn_var['TotalCharges']=pd.qcut(churn_var['TotalCharges'],4,labels=['1','2','3','4'])
churn_var['TotalCharges'].head()

【输出】
在这里插入图片描述

9.3、分类数据转换成“整数编码”

9.3.1、查看churn_var中分类变量的label(标签)

#自定义函数获取分类变量中的label
def Label(x):
    print(x,"--" ,churn_var[x].unique()) 
#筛选出数据类型为“object”的数据点
df_object=churn_var.select_dtypes(['object']) 
print(list(map(Label,df_object)))

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第38张图片
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第39张图片
【分析】
通过同行百分比的“交叉分析”发现,label “No internetserive”的人数占比在以下特征[OnlineSecurity,OnlineBackup,DeviceProtection,TechSupport,StreamingTV,StreamingTV]都是惊人的一致,故我们可以判断label “No internetserive”不影响流失率。
因为这6项增值服务,都是需要开通“互联网服务”的基础上才享受得到的。不开通“互联网服务”视为没开通这6项增值服务,故可以将 6个特正中的“No internetserive” 并到 “No”里面。

churn_var.replace(to_replace='No internet service',value='No',inplace=True)

而特征MultipleLines的“ No phoneservice”在流失客户、留存客户样本中的人数占比几乎接近,且比较少,故可以将“ No phoneservice”并到“No”。

churn_var.replace(to_replace='No phone service',value='No',inplace=True)
df_object=churn_var.select_dtypes(['object']) 
print(list(map(Label,df_object.columns)))

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第40张图片

9.3.2、整数编码

整数编码的方法有两种:

  1. sklearn中的LabelEncoder()
  2. pandas中的factorize
    此处选用 LabelEncoder()
def labelencode(x):
    churn_var[x] = LabelEncoder().fit_transform(churn_var[x])
for i in range(0,len(df_object.columns)):
    labelencode(df_object.columns[i])
print(list(map(Label,df_object.columns)))

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第41张图片

9.4、处理“样本不均衡”

分拆变量

x=churn_var
y=df['Churn'].values
print('抽样前的数据特征',x.shape)
print('抽样前的数据标签',y.shape)

【输出】
抽样前的数据特征 (7043, 17)
抽样前的数据标签 (7043,)

处理样本不均衡常用的方式有三种:

  1. 分层抽样
  2. 过抽样
  3. 欠抽样

笔者先后尝试了“分层抽样”和“欠抽样”,前者最终得到的模型中精度最高的是0.63,而后者最终得到的模型中精度最低是0.78,最高是0.84。所以说“抽样方式”的选择极为重要,大家要在这里多试错。

分层抽样

sss=StratifiedShuffleSplit(n_splits=5, test_size=0.2, random_state=0)
print(sss)
print("训练数据和测试数据被分成的组数:",sss.get_n_splits(x,y))
# 分拆训练集和测试集
for train_index, test_index in sss.split(x, y):
    print("train:", train_index, "test:", test_index)
    x_train,x_test=x.iloc[train_index], x.iloc[test_index]
    y_train,y_test=y[train_index], y[test_index]

“过抽样”让模型精度更高,故我选“过抽样”。

from imblearn.over_sampling import SMOTE
model_smote=SMOTE()
x,y=model_smote.fit_sample(x,y)
x=pd.DataFrame(x,columns=churn_var.columns)
#分拆数据集:训练集 和 测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=0)

输出数据集大小

print('过抽样数据特征:', x.shape,
      '训练数据特征:',x_train.shape,
      '测试数据特征:',x_test.shape)

print('过抽样后数据标签:', y.shape,
      '   训练数据标签:',y_train.shape,
      '   测试数据标签:',y_test.shape)

【输出】

过抽样后数据特征: (10348, 17) 训练数据特征: (7243, 17) 测试数据特征: (3105, 17)
过抽样后数据标签: (10348,) 训练数据标签: (7243,) 测试数据标签: (3105,)

10、数据建模

使用分类算法

Classifiers=[["Random Forest",RandomForestClassifier()],
             ["Support Vector Machine",SVC()],
             ["LogisticRegression",LogisticRegression()],
             ["KNN",KNeighborsClassifier(n_neighbors=5)],
             ["Naive Bayes",GaussianNB()],
             ["Decision Tree",DecisionTreeClassifier()],
             ["AdaBoostClassifier", AdaBoostClassifier()],
             ["GradientBoostingClassifier", GradientBoostingClassifier()],
             ["XGB", XGBClassifier()],
             ["CatBoost", CatBoostClassifier(logging_level='Silent')]  
]

训练模型

Classify_result=[]
names=[]
prediction=[]
for name,classifier in Classifiers:
    classifier=classifier
    classifier.fit(x_train,y_train)
    y_pred=classifier.predict(x_test)
    recall=recall_score(y_test,y_pred)
    precision=precision_score(y_test,y_pred)
    f1score = f1_score(y_test, y_pred)
    class_eva=pd.DataFrame([recall,precision,f1score])
    Classify_result.append(class_eva)
    name=pd.Series(name)
    names.append(name)
    y_pred=pd.Series(y_pred)
    prediction.append(y_pred)

11、模型评估

names=pd.DataFrame(names)
names=names[0].tolist()
result=pd.concat(Classify_result,axis=1)
result.columns=names
result.index=["recall","precision","f1score"]
result

【输出】
特征工程,采用“标准化”处理量纲差异,采用“分层抽样”处理样本不均衡。
最终模型精度得分,最高分是0.63,是“朴素贝叶斯”模型
在这里插入图片描述

特征工程,采用“离散化”处理量纲差异,采用“过抽样”处理样本不均衡。
最终模型精度得分,最高分是0.84,是“XGB”模型
在这里插入图片描述

12、基于“XGB”模型输出特征重要性

笔者尝试了两个算法分别输出“特征重要性”:CatBoost算法 和 XGB 算法

  • CatBoost算法
model = CatBoostClassifier()
model.fit(x_train,y_train,eval_set=(x_test, y_test),plot=True)
#特征重要性可视化
catboost=pd.DataFrame(columns=['feature','feature_importance'])
catboost['feature']=model.feature_names_
catboost['feature_importance']=model.feature_importances_
catboost=catboost.sort_values('feature_importance',ascending=False) #降序排列
plt.figure(figsize=(10,10))
plt.title('特征重要性')
sns.barplot(x='feature_importance',y='feature',data=catboost)

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第42张图片
-XGB 算法

model_xgb= XGBClassifier()
model_xgb.fit(x_train,y_train)
from xgboost import plot_importance
plot_importance(model_xgb,height=0.5)
plt.show()

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第43张图片
由于 XGB算法精度得分最高,故我们以XGB得到的“特征重要性”进行分析。
【分析】

  1. 第一重要特征:tenure
plt.figure(figsize=(20,4))
sns.countplot(x='tenure',hue='Churn',data=df)

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第44张图片
【分析】
由图可知,流失客户集中在1-5号职位,运营团队需要重点关注1-5号职位。

  1. 第二重要特征:PaymentMethod

【分析】
使用“电子支票”支付的人更容易流失。

  1. 第三重要特征:MonthlyCharges
    查看流失用户、留存用户在付费方面的偏好:
    ‘MonthlyCharges’、‘TotalCharges’,离散化后,可进行卡方检验,然后交叉分析。
  • 卡方检验:‘MonthlyCharges’、‘TotalCharges’
df['MonthlyCharges-']=churn_var['MonthlyCharges']
df['TotalCharges-']=churn_var['TotalCharges']
print('kf_var的卡方检验结果如下:','\n')
KF('MonthlyCharges-')
KF('TotalCharges-')

【输出】
kf_var的卡方检验结果如下:

Churn by MonthlyCharges 的卡方临界值是0.00,小于0.05,表明MonthlyCharges组间有显著性差异,可进行【交叉分析】

Churn by TotalCharges 的卡方临界值是0.00,小于0.05,表明TotalCharges组间有显著性差异,可进行【交叉分析】

  • 交叉分析
for i in ['MonthlyCharges','TotalCharges']:
    print('................Churn BY {}...............'.format(i))
    print(pd.crosstab(df['Churn'],df[i],normalize=0),'\n')

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第45张图片
18.25= 35.5 70.35 89.85= 【分析】
月付费70.35–118.75元的用户更容易流失
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第46张图片
18= 402 1397 3786 【分析】
总付费18–1397元的用户更容易流失

基于"MonthlyCharges"和“TotalCharges”画四分图:
求两个维度的均值

 print('MonthlyCharges的均值是{:.2f},TotalCharges的均值是{:.2f}'.format(df['MonthlyCharges'].mean(),df['TotalCharges'].mean()))

流失客户四分图:

df_1=df[df['Churn']==1] #流失客户
df_0=df[df['Churn']==0] #留存客户
plt.figure(figsize=(10,10))   
sns.scatterplot('MonthlyCharges','TotalCharges',hue='Churn', palette=plt.cm.RdYlBu,data=df_1)
plt.axhline(y=df['TotalCharges'].mean(),ls="-",c="k")
plt.axvline(x=df['MonthlyCharges'].mean(),ls="-",c="green")

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第47张图片
【分析】
四分图的右下区域,流失客户比较集中,即总费用在2281.92元以下,月费用在64.76元以上的客户比较容易流失。

留存客户四分图

plt.figure(figsize=(10,10)) 
sns.scatterplot('MonthlyCharges','TotalCharges',hue='Churn', palette=plt.cm.RdYlBu_r,data=df_0)
plt.axhline(y=df['TotalCharges'].mean(),ls="-",c="k")
plt.axvline(x=df['MonthlyCharges'].mean(),ls="-",c="green")

【输出】
深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上)_第48张图片
【结论】
综合“ 统计分析” 和 “XGB算法输出特征重要性” 得出流失客户有以下特征(依特征重要性从大到小排列):

  1. tenure:1-5号职位的用户比较容易流失
  2. PaymentMethod:使用“电子支票”支付的人
  3. MonthlyCharges 、TotalCharges:总费用在2281.92元以下,月费用在64.76元以上的客户比较容易流失
  4. PaperlessBilling:开通电子账单
  5. Partner:单身
  6. OnlineBackup:没开通“在线备份业务”
  7. InternetService:开通了 “Fiber optic 光纤网络”
  8. TechSupport:没开通“技术支持服务”
  9. DeviceProtection:没开通通了“设备保护业务
  10. OnlineSecurity:没开通“网络安全服务”
  11. Contract:“按月”签订合同方式
  12. Dependents:无经济独立
  13. SeniorCitizen :青年人
  14. TotalCharges:总费用在2281.92元以下,月费用在64.76元以上的客户比较容易流失

你可能感兴趣的:(深度分析|《电信用户流失预测模型》(所有分类模型精度平均得分在0.8以上))