数据挖掘——数据变换

数据变换：

1、数据变换在数据分析中的角色：
让不同渠道的数据统一到一个目标数据库中；
2、数据变换所处环节：
3、数据变换的方法：

• 数据平滑：去除数据中的噪声，将连续数据离散化。这里可以采用分箱、聚类和回归的方式进行数据平滑，我会在后面给你讲解聚类和回归这两个算法；
• 数据聚集：对数据进行汇总，在 SQL 中有一些聚集函数可以供我们操作，比如 Max() 反馈某个字段的数值最大值，Sum() 返回某个字段的数值总和；
• 数据概化：将数据由较低的概念抽象成为较高的概念，减少数据复杂度，即用更高的概念替代更低的概念。比如说上海、杭州、深圳、北京可以概化为中国。
• 数据规范化：使属性数据按比例缩放，这样就将原来的数值映射到一个新的特定区域中。常用的方法有最小—最大规范化、Z—score 规范化、按小数定标规范化等，我会在后面给你讲到这些方法的使用；
• 属性构造：构造出新的属性并添加到属性集中。这里会用到特征工程的知识，因为通过属性与属性的连接构造新的属性，其实就是特征工程。比如说，数据表中统计每个人的英语、语文和数学成绩，你可以构造一个“总和”这个属性，来作为新属性。这样“总和”这个属性就可以用到后续的数据挖掘计算中。

其中最常用的是数据规范化，包括最小—最大规范化、Z—score 规范化、按小数定标规范化等；

• 数据规范化的几种方法

1、Min-max 规范化
Min-max 规范化方法是将原始数据变换到[0,1]的空间中。
公式表示就是：新数值 =（原数值 - 极小值）/（极大值 - 极小值）。

#Min-max规范化 
#coding:utf-8
from sklearn import preprocessing
import numpy as np
#初始化数据，每一行表示一个样本，每一列表示一个特征
x=np.array([[0.,-3.,1.],
            [3.,1.,2.],
            [0.,1.,-1.]])
#将数据进行[0,1]规范化
min_max_scaler=preprocessing.MinMaxScaler()
minmax_x=min_max_scaler.fit_transform(x)
print(minmax_x)

输出：
[[0.         0.         0.66666667]
 [1.         1.         1.        ]
 [0.         1.         0.        ]]

应用：

#例如将收入进行规范化
from sklearn  import preprocessing
import numpy  as np
x=np.array([[5000.],[16000.],[58000.]])
min_max_scaler=preprocessing.MinMaxScaler()
minmax_x=min_max_scaler.fit_transform(x)
print(minmax_x)

输出：
[[0.        ]
 [0.20754717]
 [1.        ]]

2、 Z-Score 规范化
假设 A 与 B 的考试成绩都为 80 分，A 的考卷满分是 100 分（及格 60 分），B 的考卷满分是 500 分（及格 300 分）。虽然两个人都考了 80 分，但是 A 的 80 分与 B 的 80 分代表完全不同的含义。
那么如何用相同的标准来比较 A 与 B 的成绩呢？Z-Score 就是用来可以解决这一问题的。
我们定义：新数值 =（原数值 - 均值）/ 标准差。将数据规范到均值，1方差的标准正态分布中

#Z-Score规范化
from sklearn import preprocessing
import numpy as np
#初始化数据
x=np.array([[0.,-3.,1.],
            [3.,1.,2.],
            [0.,1.,-1.]])
#将数据进行Z-Score规范化
scaled_x=preprocessing.scale(x)
print(scaled_x)

输出：
[[-0.70710678 -1.41421356  0.26726124]
 [ 1.41421356  0.70710678  1.06904497]
 [-0.70710678  0.70710678 -1.33630621]]

3、小数定标规范化
小数定标规范化就是通过移动小数点的位置来进行规范化。将数据转化到【-1,1】小数点移动多少位取决于属性 A 的取值中的最大绝对值。举个例子，比如属性 A 的取值范围是 -999 到 88，那么最大绝对值为 999，小数点就会移动 3 位，即新数值 = 原数值 /1000。那么 A 的取值范围就被规范化为 -0.999 到 0.088。

#小数定标规范化
from sklearn import preprocessing
import numpy as np
#初始化数据
x=np.array([[0.,-3.,1.],
            [3.,1.,2.],
            [0.,1.,-1.]])

#小数定标规范化
j=np.ceil(np.log10(np.max(abs(x))))
scaled_x=x/(10**j)
print(scaled_x)

输出：
[[ 0.  -0.3  0.1]
 [ 0.3  0.1  0.2]
 [ 0.   0.1 -0.1]]