2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
【BetterBench原创】2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 建模方案及代码实现（更新中）
更新进展
2022年12月21日 12:20 发布问题一、二思路及问题一的python代码实现
2022年12月22日 15:00 发布问题二python实现的代码
更新完毕
相关链接
（1）问题一建模方案及代码实现
（2）问题二建模方案及代码实现
1 题目
移动通信技术飞速发展，给人们带来了极大便利，人们也越来越离不开移动通信技术带来的各种便捷。随着网络不断的建设，网络覆盖越来越完善。各个移动运营商，越来越重视客户的网络使用体验，从而进一步提升网络服务质量。 客户满意度是客户对运营商产品服务的满意程度，反映了客户期望与实际感知的产品服务之间的差异。特别是在信息透明、产品同质化的今天， 客户满意度的表现成为各大运营商市场运营状况的重要体现。数字经济时代，各大运营商需要运用数字经济的管理理念和技术手段，建立客户体验生态的全方位系统性测评体系，实现客户满意度评测的数字化转型，让客户体验赋能商业决策，让商业决策真正服务客户，共同推动移动网络高质量可持续发展。 根据客户投诉，对影响用户体验的问题逐点解决，是传统提升客户满意度的方法。但是随着用户数量的大幅增加，移动产品的种类越来越丰富， 客户的需求越来越高，传统的方法已经难以有效提升客户的满意度。本研究拟通过分析影响用户满意度的各种因素，为决策提供依据，从而实现更早、更全面提升用户满意度。 中国移动通信集团北京公司，让客户根据自身在网络覆盖与信号强度、语音通话清晰度和语音通话稳定性三个方面的体验进行打分，同时还让客户根据语音通话的整体体验进行语音通话整体满意度的打分，并统计整理影响客户语音业务体验的因素，希望以此来分析客户语音业务满意度的主要影响因素，并提升客户语音业务满意度。同时，对于上网数据业务，中国移动北京公司让客户根据自身在网络覆盖与信号强度、手机上网速度、手机上网稳定性三个方面的体验进行打分，同时还让客户根据手机上网的整体体验进行手机上网整体满意度的打分，并统计整理影响客户上网体验的因素，希望以此可以分析影响客户上网业务体验的主要因素，并提升客户的上网体验。
初赛问题 基于以上背景，请你们的团队根据附件给出的数据，通过数据分析与建模的方法帮助中国移动北京公司解决以下问题：
问题 1：根据附件 1 和附件 2，分别研究影响客户语音业务和上网业务满意度的主要因素，并给出各因素对客户打分影响程度的量化分析和结果。附件 1、2 中各字段的解释说明见附件 5。
问题 2：结合问题 1 的分析，对于客户语音业务和上网业务分别建立客户打分基于相关影响因素的数学模型，并据此对附件 3、4 中的客户打分
进行预测研究，将预测结果分别填写在result.xlsx 的Sheet1“语音”和Sheet2“上网”两个工作表中，并上传到竞赛平台，说明你们预测的合理性。
附件
附件 1 语音业务用户满意度数据 附件 2 上网业务用户满意度数据 附件 3 语音业务用户满意度预测数据 附件 4 上网业务用户满意度预测数据附件 5 附件 1、2、3、4 的字段说明result.xlsx
2 思路分析
2.1 问题一
这是相关性分析问题，分别对附件1和附件2计算所有因素与语音通话整体满意度和手机上网整体满意度的相关性。首先对数据集进行数据预处理和数据可视化分析，具体的分析过程看以下 部分python代码实现。查看异常值，去除异常值，查看数据分布，对分布进行抓换等处理。预处理完毕后，采用的相关性分析方法有
- Pearson相关
Pearson相关用于评估两个连续变量之间的线性关联强度。这种统计方法本身不区分自变量和因变量，但如果您根据研究背景已经对变量进行了区分，我们仍可以采用该方法判断相关性。
- Spearman相关
Spearman相关又称Spearman秩相关，用于检验至少有一个有序分类变量的关联强度和方向。
- Kendall’s tau-b相关系数
Kendall’s tau-b 相关系数是用于检验至少有一个有序分类变量关联强度和方向的非参数分析方法。该检验与Spearman相关的应用范围基本一致，但更适用于存在多种关联的数据（如列联表）。
- 卡方检验
卡方检验常用于分析无序分类变量之间的相关性，也可以用于分析二分类变量之间的关系。但是该检验只能分析相关的统计学意义，不能反映关联强度。因此，我们常联合Cramer’s V检验提示关联强度。
- Fisher精确检验
Fisher精确检验可以用于检验任何RC数据之间的相关关系，但最常用于分析22数据，即两个二分类变量之间的相关性。与卡方检验只能拟合近似分布不同的是，Fisher精确检验可以分析精确分布，更适合分析小样本数据。但是该检验与卡方检验一样，只能分析相关的统计学意义，不能反映关联强度。
2.2 问题二
这是一个多分类问题，1-10的评分，10分类问题。简单的机器学习问题。首先数据预处理，包括缺失值处理、异常值处理、类别特征编码，label 采用onehot编码或者数值编码。接下来是特征工程，特征工程的方法有，特征筛选、特征降维、特征交叉、特征标准化或归一化等等。接下来选择常用的机器学习分类模型
- 1.KNN
- 2.感知机
- 3.朴素贝叶斯法
- 4.决策树
- 5.逻辑斯谛回归模型*
- 6.SVM
- 7.AdaBoost
- 8.随机森林
- 9.XGB
- 10.LGB
XGB、LGB一般效果更好。此比赛时间充足，可以多对比几种模型，看实验效果。此外还可以采用神经网络分类模型，耗时较长，效果更佳。
3 python代码实现
3.1 导入包
import seaborn as sns
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import scipy.stats as st
import warnings
%matplotlib inline
plt.style.use('seaborn-darkgrid')
sns.set(style = 'darkgrid')
import warnings
warnings.filterwarnings('ignore')
plt.rcParams['font.sans-serif'] = ['STSong']
3.2 读取并查看数据
file1 = pd.read_excel('./data/附件1语音业务用户满意度数据.xlsx')
file2 = pd.read_excel('./data/附件2上网业务用户满意度数据.xlsx')
file1.info()
3.3 查看缺失值
msn.matrix(file1)
plt.savefig('img/附件1缺失值查看.png',dpi=300)
isnull_df = pd.DataFrame(file1.isnull().any())
print(isnull_df[file1.isnull().any()==True])
附件1中，用户描述,用户描述.1,重定向次数,重定向驻留时长 ,是否关怀用户,是否去过营业厅,缺失值较多，可以直接不要这个字段的列
是否4G网络客户（本地剔除物联网）,终端品牌,终端品牌类型,外省流量占比,是否5G网络客户,是否实名登记用户,客户星级标识,当月欠费金额,前第3个月欠费金额,缺失值较少，可以选择填充或者删除该行缺失值
msn.matrix(file2)
plt.savefig('img/附件2缺失值查看.png',dpi=300)
isnull_d2 = pd.DataFrame(file2.isnull().any())
print(isnull_d2[file2.isnull().any()==True])
3.4 异常值查看
# 对浮点型数据，查看数据分布
fig = plt.figure(figsize=(80,60),dpi=75)
i=0
for s in file1.columns:
if file1[s].dtype==float:
...略
# plt.savefig('img/附件1箱线图查看.png',dpi=300)
plt.show()
# 对浮点型数据，查看数据分布
fig = plt.figure(figsize=(80,60),dpi=75)
i=0
for s in file2.columns:
if file2[s].dtype==float:
...略
plt.savefig('img/附件2箱线图查看.png',dpi=300)
plt.show()
3.5 查看分布
# 所有浮点型字段的分布
dist_cols = 4
dist_rows = len(file1.columns)
plt.figure(figsize=(4*dist_cols,4*dist_rows))
i = 1
for col in file1.columns:
if file1[col].dtype==float:
...略
# plt.savefig('img/附件1所有浮点型字段分布.png',dpi=300)
plt.show()
# 所有int型字段的分布
dist_cols = 4
dist_rows = len(file1.columns)
plt.figure(figsize=(4*dist_cols,4*dist_rows))
i = 1
for col in file1.columns:
if file1[col].dtype==int:
...略
# plt.savefig('img/附件1所有整型字段分布.png',dpi=300)
plt.show()
# 附件2所有浮点型字段的分布
dist_cols = 4
dist_rows = len(file2.columns)
plt.figure(figsize=(4*dist_cols,4*dist_rows))
i = 1
for col in file2.columns:
if file2[col].dtype==float:
...略
# plt.savefig('img/附件2所有浮点型字段分布.png',dpi=300)
plt.show()
# 附件2所有浮点型字段的分布
dist_cols = 4
dist_rows = len(file2.columns)
plt.figure(figsize=(4*dist_cols,4*dist_rows))
i = 1
for col in file2.columns:
if file2[col].dtype==int:
...略
i+=1
# plt.savefig('img/附件2所有整型字段分布.png',dpi=300)
plt.show()
结论：如果出现某个特征的分布不符合正态分布，后续需要通过对数据进行转换，针对右偏和左偏的转换方法不一样
- 很多右偏数据可以正态化
- 对数变换后呈正态分布，方差稳定
- 不太严重的右偏，使用平方根变换
- 严重右偏，倒数变换
查看label 分布
# 取1-10之间
y_p = file1[(file1['语音通话整体满意度']<=10) & (file1['语音通话整体满意度']>=1)]['语音通话整体满意度']
## 3) 查看预测值的具体频数
...略
plt.savefig('img/语音通话整体满意度分布.png',dpi=300)
plt.show()
# 取1-10之间
y_p = file2[(file2['手机上网整体满意度']<=10) & (file2['手机上网整体满意度']>=1)]['手机上网整体满意度']
## 3) 查看预测值的具体频数
...略
plt.savefig('img/手机上网整体满意度分布.png',dpi=300)
plt.show()
3.7 对不符合正态分布的特征转换
以符合左偏分布的重定向次数，对数转换举例
clear_file1 = file1[(file1['语音通话整体满意度']<=10) & (file1['语音通话整体满意度']>=1)]
plt.figure(figsize=(20, 6))
y = clear_file1['重定向次数']
plt.subplot(121)
plt.title('johnsonsu分布拟合',fontsize=20)
plt.xlabel('重定向次数',fontsize=15)
sns.distplot(y, kde=False, fit=st.johnsonsu, color='Red')
plt.subplot(121)
y2 = clear_file1['重定向次数']
plt.subplot(122)
st.probplot(y2, dist="norm", plot=plt)
plt.title('重定向次数 Q-Q图',fontsize=20)
plt.xlabel('X分位数',fontsize=15)
plt.ylabel('Y分位数',fontsize=15)
plt.savefig('img/重定向次数未转换前的分布.png',dpi=300)
plt.show()
plt.figure(figsize=(20, 6))
y = np.log1p(clear_file1['重定向次数'])
plt.subplot(121)
plt.title('johnsonsu分布拟合',fontsize=20)
plt.xlabel('重定向次数',fontsize=15)
sns.distplot(y, kde=False, fit=st.johnsonsu, color='Red')
plt.subplot(121)
y2 = np.log1p(clear_file1['重定向次数'])
plt.subplot(122)
st.probplot(y2, dist="norm", plot=plt)
plt.title('重定向次数 Q-Q图',fontsize=20)
plt.xlabel('X分位数',fontsize=15)
plt.ylabel('Y分位数',fontsize=15)
plt.savefig('img/重定向次数转换后的分布.png',dpi=300)
plt.show()
结论：重定向次数是属于数值特征，存在异常值，数据分布不符合正态分布，需要对数转换后，便可以近似为正态分布。
3.8 相关性分析
plt.rcParams['font.sans-serif'] = ['STSong']
corr = clear_file1.corr().abs()
k = 10
col = corr.nlargest(k,'语音通话整体满意度')['语音通话整体满意度'].index
plt.subplots(figsize = (10,10))
...略
plt.savefig('img/附件1-Top10相关性热图.png',dpi=300)
plt.show()
plt.rcParams['font.sans-serif'] = ['STSong']
corr = clear_file2.corr().abs()
k = 10
col = corr.nlargest(k,'手机上网整体满意度')['手机上网整体满意度'].index
plt.subplots(figsize = (10,10))
...略
plt.savefig('img/附件2-Top10相关性热图.png',dpi=300)
plt.show()
结论：影响语音通话整体满意度的关键因素有，语音通话清晰度, 网络覆盖与信号强度, 语音通话稳定性, 是否遇到过网络问题, 居民小区, 手机没有信号, 有信号无法拨通, 通话过程中突然中断, 办公室。
影响手机上网整体满意度的关键因素有手机上网速度, 网络覆盖与信号强度, 手机上网稳定性, 网络信号差/没有信号, 手机上网速度慢, 上网过程中网络时断时续或时快时, 打开网页或APP图片慢, 居民小区, 显示有信号上不了网
4 代码及图片下载
https://www.betterbench.top/#/17/detail