DW数据挖掘学习（一）
0.赛题理解
- 场景：蚂蚁金服每天需要处理大量的资金流入和流出
- 条件：为了资金流动的风险达到最低，同时保证每天的正常业务运转
- 目标：精准预测未来每日的资金流入流出情况
- 数据：用户基本信息数据、用户申购赎回数据、收益率表、银行间拆借利率表
1.数据探索准备
1.1时间序列图
# 画出每日总购买与赎回量的时间序列图
fig = plt.figure(figsize=(20,6))
#表示figure的大小为长、宽（单位为inch）
plt.plot(total_balance['date'],total_balance['total_purchase_amt'],label='purchase')
#从label可知为图中黄线，横轴为时间，纵轴为购买量
plt.plot(total_balance['date'], total_balance['total_redeem_amt'],label='redeem')
#同上画出图中蓝线
plt.legend(loc='best')
#设置图例位置,best为0, only implemented for axes legends(自适应方式)
plt.title("The lineplot of total amount of Purchase and Redeem from July.13 to Sep.14")
#设置图表标题
plt.xlabel("Time")
#设置横轴
plt.ylabel("Amount")
#设置纵轴
plt.show()
#展示
1.2数据分布可视化
- 直方图 - distplot()
-
rs = np.random.RandomState(10) #设定随机数种子 s = pd.Series(rs.randn(100) * 100) sns.distplot(s, bins = 10, hist = True, kde = True, norm_hist = False, rug = True, vertical = True, color = 'b', label = 'distplot', axlabel = 'x') plt.legend() #bins ---> 箱数 #hist、ked ---> 是否显示箱/密度曲线 #norm_hist ---> 直方图是否按照密度来显示 #rug ---> 是否显示数据分布情况 #vertical ---> 是否水平显示 #color ---> 设置颜色 #label ---> 图例 #axlabel ---> x轴标注sns.distplot(s, rug = True, rug_kws = {'color':'y'}, #设置数据频率分布颜色 kde_kws = {'color':'k', 'lw':1, 'label':'KDE', 'linestyle':'--'}, #设置密度曲线颜色、线宽、标注、 线形 hist_kws = {'histtype':'stepfilled', 'linewidth':1, 'alpha':1, 'color':'g'}) # 设置箱子的风格、线宽、透明度、颜色 # 风格包括：'bar'、'barstacked'、'step'、'stepfilled' - 箱形图-boxplot()
plt.boxplot(x, notch=None, sym=None, vert=None, whis=None, positions=None, widths=None, patch_artist=None, meanline=None, showmeans=None, showcaps=None, showbox=None, showfliers=None, boxprops=None, labels=None, flierprops=None, medianprops=None, meanprops=None, capprops=None, whiskerprops=None)x：指定要绘制箱线图的数据；
notch：是否是凹口的形式展现箱线图，默认非凹口；
sym：指定异常点的形状，默认为+号显示；
whis：指定上下须与上下四分位的距离，默认为1.5倍的四分位差；
vert：是否需要将箱线图垂直摆放，默认垂直摆放；
positions：指定箱线图的位置，默认为[0,1,2…]；
widths：指定箱线图的宽度，默认为0.5；
meanline：是否用线的形式表示均值，默认用点来表示；
patch_artist：是否填充箱体的颜色；
showcaps：是否显示箱线图顶端和末端的两条线，默认显示；
showmeans：是否显示均值，默认不显示；
filerprops：设置异常值的属性，如异常点的形状、大小、填充色等；
showbox：是否显示箱线图的箱体，默认显示；
capprops：设置箱线图顶端和末端线条的属性，如颜色、粗细等；
showfliers：是否显示异常值，默认显示；
whiskerprops：设置须的属性，如颜色、粗细、线的类型等；
boxprops：设置箱体的属性，如边框色，填充色等；
medianprops：设置中位数的属性，如线的类型、粗细等；
labels：为箱线图添加标签，类似于图例的作用；
meanprops：设置均值的属性，如点的大小、颜色等；
-
plt.figure(figsize=(12, 5)) #表示figure 的大小为长、宽（单位为inch） ax = plt.subplot(1,2,1) #plt.subplot（i,j,n）形式，其中i,j是行列数，n是第几个图，比如（1,2,1）则是一个有两个图，该图位于第一个 plt.title('The boxplot of total purchase with each weekday') #plt.title()函数用于设置图像标题 ax = sns.boxplot(x="weekday", y="total_purchase_amt", data=total_balance_1) #表示第一张图的横坐标为“weekday”,纵坐标为“total_purchase_amt” ax = plt.subplot(1,2,2) #第二张图同理 plt.title('The boxplot of total redeem with each weekday') ax = sns.boxplot(x="weekday", y="total_redeem_amt", data=total_balance_1)
- 小提琴图
-
sns.violinplot(x=x,y=y,data=Train_data) #在sns.violinplot中，x是类别变量，y是数值型变量，data用于指定数据集 -
# 画出每个翌日的数据分布于整体数据的分布图 a = plt.figure(figsize=(10,10)) scatter_para = {'marker':'.', 's':3, 'alpha':0.3} #markers = ['o', '.', ',', 'x', '+', 'v', '^', '<', '>', 's', 'd'] #matplotlib用特殊字符表示散点类型 line_kws = {'color':'k'} #更改线条的颜色 plt.subplot(2,2,1) plt.title('The distrubution of total purchase') sns.violinplot(x='weekday', y='total_purchase_amt', data = total_balance_1, scatter_kws=scatter_para, line_kws=line_kws) #画出第一张图（小提琴图） plt.subplot(2,2,2) plt.title('The distrubution of total purchase') sns.distplot(total_balance_1['total_purchase_amt'].dropna()) #画出第二张图（直方图） plt.subplot(2,2,3) plt.title('The distrubution of total redeem') sns.violinplot(x='weekday', y='total_redeem_amt', data = total_balance_1, scatter_kws=scatter_para, line_kws=line_kws) plt.subplot(2,2,4) plt.title('The distrubution of total redeem') sns.distplot(total_balance_1['total_redeem_amt'].dropna())
2.数据探索性分析
2.1函数载入
import pandas as pd
import numpy as np
import datetime
import seaborn as sns
import matplotlib.pyplot as plt
from scipy import stats
import warnings
warnings.filterwarnings('ignore')2.2数据载入与总览
data_balance = pd.read_csv("user_balance_table.csv")
bank = pd.read_csv("mfd_bank_shibor.csv")
share = pd.read_csv("mfd_day_share_interest.csv")
users = pd.read_csv("user_profile_table.csv")可以以head()和shape进行简略的观测
#添加时间信息
data_balance['date'] = pd.to_datetime(data_balance['report_date'], format= "%Y%m%d")
#数据类型为“object”，通过pd.to_datetime将该列数据转换为时间类型，即datetime
#下面这种类型的语句可以对操作后的datatime直接进行取数
data_balance['day'] = data_balance['date'].dt.day
data_balance['month'] = data_balance['date'].dt.month
data_balance['year'] = data_balance['date'].dt.year
data_balance['week'] = data_balance['date'].dt.week
data_balance['weekday'] = data_balance['date'].dt.weekdaytotal_balance = data_balance.groupby(['date'])['total_purchase_amt','total_redeem_amt'].sum()
#按照日期统计申购总量和赎回总量
total_balance.reset_index(inplace=True)
reset_index用来重置索引，因为有时候对dataframe做处理后索引可能是乱的。
drop=True就是把原来的索引index列去掉，重置index；drop=False就是保留原来的索引，添加重置的index。
inplace=False（默认）表示原数组不变，对数据进行修改之后结果给新的数组；inplace=True表示直接在原数组上对数据进行修改。