数据预处理（2） ——数据变换与数据离散化 使用python（sklearn，pandas，numpy）实现
数据预处理的主要任务有：
一、数据预处理
1.数据清洗
2.数据集成
3.数据转换
4.数据归约
3.数据变换
数据变换是指将数据转换或统一成适合于挖掘的形式。
（1）数据泛化：使用概念分层，用高层概念替换低层或“原始”数据。例如，分类的属性，如街道，可以泛化为较高层的概念，如城市或国家。
使用时根据自己需求，自己写代码实现
（2）规范化：将属性数据按比例缩放，使之落入一个小的特定区间。大致可分三种：最小最大规范化、z-score规范化和按小数定标规范化。
2.1 最小最大规范化
from sklearn.preprocessing import MinMaxScaler
M=MinMaxScaler()
data2=M.fit_transform(data)
2.2 z-score规范化
from sklearn.preprocessing import StandardScaler
S=StandardScaler()
data1=S.fit_transform(data)
2.3 小数定标规范化
举个栗子：假设A取值由-986到917。A的最大绝对值为986 。因此，为使用小数定标规范化，我们用1000除每个值。-986被规范化到-0.986
（3）属性构造：可以构造新的属性并添加到属性集中，以帮助挖掘过程。例如，可能希望根据属性height和width添加属性area。通过属性构造可以发现关于数据属性间联系的丢失信息，这对知识发现是有用的。
（4）离散化：数值属性（例如:年龄）的原始值用区间标签(0-10,11-20等）代替。
x=[1,1,5,5,5,5,8,8,10,10,10,10,14,14,14,14,15,15,15,15,15,15,18,18,18,18,18,18,18,18,18,20,2,20,20,20,20,20,20,21,21,21,25,25,25,25,25,28,28,30,30,30]
x=pd.Series(x)
s=pd.cut(x,bins=[0,10,20,30])
d=pd.get_dummies(s)这里采用了哑编码，用OneHotEncoder也可以实现哑编码
sklearn的preprocessing预处理方法参考http://blog.csdn.net/nkwangjie/article/details/17471889
参考文献：
http://www.cnblogs.com/jasonfreak/p/5448462.html