连续型数据处理
上一节，我们总结了离散型数据的处理方法，这一节我们整理下连续型数据的处理方法。一般来讲，离散型数据都是类别值，如：男生，女生，商务座，一等座，二等座等等。连续型数据基本上都是数值型数据，如年龄（10岁，11岁…），身高（110cm, 175cm…），海拔，薪资等等。
既然连续型数据都是数值，是可以直接拿来供计算机使用的，那么连续型数据该如何处理？这里我们提出一个处理思想：连续型数据离散化。连续型数据离散化以后的建模效果一定会比原来的好吗？这个答案是不一定的，任何时候我们都需要对两者结果进行比较，从而做出判断–连续型数据是否需要离散化？
连续型数据离散化的方法：对连续型数据进行分组处理。假如高三一班的学生身高从150cm~185cm，那么我们可以将身高数据划分为几组，如[150 ~ 160, 161 ~ 170,171 ~ 180,181 ~ 185]，同时可以给每个组贴一个标签[稍矮，矮，高，非常高]。
接下来，我们将使用Pandas库来对具体的连续型数据进行分组处理。
数据集导入：
下载链接：链接：https://pan.baidu.com/s/1RhK-qrlLTOTv5FgQGEN1wQ
提取码：tga9
代码演示：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns;sns.set()
fcc = pd.read_csv('D:\\Py_dataset\\fcc_2016_coder_survey_subset.csv',encoding = 'utf-8')
fcc_df = fcc[['ID.x','Age','EmploymentField','Income']]#从原始数据集中，抽出几列供我们分析
#对数据集中的"Income"特征进行可视化展示
fig,ax = plt.subplots()
fcc_df['Income'].hist(color = 'blue')
ax.set_xlabel('Income')
ax.set_ylabel('quantity')
ax.set_title('The distribution of Income')
接下来我们使用两种方法对fcc_df数据集的"Income"特征进行分组。
1.pandas.cut
bins = [0,50000,100000,150000,200000]#设置组距
labels = ['low_income','middle_income','middel_high_income','high_income']#设置每组的标签
fcc_df['Income_bins'] = pd.cut(fcc_df['Income'],bins = bins,labels = labels)
fcc_df['Income_bins'].value_counts().plot(kind = 'bar')
通过pandas.cut()方法，我们将连续的"Income"特征切分成了low_incoem,middle_income,middle_high_income,high_income四种类别。
2.Pandas.qcut()通过分位数切分
quantile_list = [0,0.25,0.5,0.75,1]#制定分位数
income_quantile = fcc_df['Income'].quantile(quantile_list)#将原始数据按照分位数进行切分
fig,ax = plt.subplots()
fcc_df['Income'].hist(color = 'blue',bins = 30)
for quantile in income_quantile:
qvl = plt.axvline(quantile,color = 'r')
ax.legend([qvl],['income_quantile'],fontsize = 10)
ax.set_xlabel('Income',fontsize = 12)
ax.set_ylabel('quantity',fontsize = 12)
ax.set_title('The distribution of Income',fontsize = 12)
查看切分后的数据集
quantile_labels = ['0~25%','25%~50%','50%~75%','75%~100%']
fcc_df['Income_range'] = pd.qcut(fcc_df['Income'],q = quantile_list)
fcc_df['Income_label'] = pd.qcut(fcc_df['Income'],q = quantile_list,labels = quantile_labels)
fcc_df.head()
总结：
本小节的连续数据离散化作为数据预处理的一种方式，目的是增加更多的数据特征。我们需要通过对比两者的建模效果，来做出判断 – 是否需要对连续数据进行离散化处理。