[Python数据预处理] 连续数据离散化：等宽法 & 聚类分析法

需要离散化的数据示例：

实现代码

#-*- coding: utf-8 -*-
#数据规范化
import pandas as pd

datafile = '../data/discretization_data.xls' #参数初始化
data = pd.read_excel(datafile) #读取数据
data = data[u'肝气郁结证型系数'].copy()
k = 4

#等宽法
d1 = pd.cut(data, k, labels = range(k)) #等宽离散化，各个类比依次命名为0,1,2,3

#基于聚类分析的方法
from sklearn.cluster import KMeans #引入KMeans
kmodel = KMeans(n_clusters = k, n_jobs = 4) #建立模型，n_jobs是并行数，一般等于CPU数较好
kmodel.fit(data.reshape((len(data), 1))) #训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)  #输出聚类中心，并且排序（默认是随机序的）
w = pd.rolling_mean(c, 2).iloc[1:] #相邻两项求中点，作为边界点
w = [0] + list(w[0]) + [data.max()] #把首末边界点加上，w[0]中0为列索引
d3 = pd.cut(data, w, labels = range(k))


def cluster_plot(d, k): #自定义作图函数来显示聚类结果
  import matplotlib.pyplot as plt
  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

  plt.figure(figsize = (8, 3))
  for j in range(0, k):
    plt.plot(data[d==j], [j for i in d[d==j]], 'o') #plt.plot(x,y,'o')

  plt.ylim(-0.5, k-0.5)
  return plt

cluster_plot(d1, k).show()
cluster_plot(d3, k).show()

结果

（1）等宽法结果图

（2）基于聚类分析方法的结果图

补充：cut函数使用方法

cut()函数可以将一个数组中的数据切分成几个部分。
将数据分为几个部分，就称为几个面元。
（1）cut(数据数组,面元数组)

array = [3, 60, 43, 100, 52, 36, 37, 0, 80, 100]
bins = [0, 25, 50, 75, 100]
cat = pd.cut(array, bins)

cat
[(0, 25], (50, 75], (25, 50], (75, 100], (50, 75], (25, 50], (25, 50], NaN, (75,100], (75, 100]]
Categories (4, interval[int64]): [(0, 25] < (25, 50] < (50, 75] < (75, 100]]

（2）不指定面元的界限，直接传入一个整数参数。
cut()会按照指定的数字，将元素划分为相应的几部分。

array = [3, 60, 43, 100, 52, 36, 37, 0, 80, 100]
pd.cut(array,5)

[(-0.1, 20.0], (40.0, 60.0], (40.0, 60.0], (80.0, 100.0], (40.0, 60.0], (20.0, 40.0], (20.0, 40.0], (-0.1, 20.0], (60.0, 80.0], (80.0, 100.0]]
Categories (5, interval[float64]): [(-0.1, 20.0] < (20.0, 40.0] < (40.0, 60.0] <(60.0, 80.0] <(80.0, 100.0]]