使用sklearn进行数据预处理之Binarizer,LabelEncoder,LabelBinarizer,OneHotEncoder
前言
数据预处理的过程中经常需要对数据进行数值化等处理，比如将性别男女转换为计算机可以理解的1和0，还有将数值化的1，2，3，4，5按照阈值3转换为0，0，0，1，1等，下面介绍一下sklearn提供的类。
Binarizer
这个就是根据阈值将数值型转变为二进制型，阈值可以进行设定，另外只能对数值型数据进行处理，且传入的参数必须为2D数组，也就是不能是Series这种类型，shape为(m,n)而不是(n,)类型的数组，下面看下例子
df = DataFrame(np.arange(12).reshape(4,3),columns=['A','B','C'])
df
第一列为索引值
A B C
0 0 1 2
1 3 4 5
2 6 7 8
3 9 10 11
将小于等于5的数值转为0，大于5的转为1
binarize = Binarizer(threshold=5)
binarize.fit_transform(df)
array([[0, 0, 0],
[0, 0, 0],
[1, 1, 1],
[1, 1, 1]])
也可以传入df[['A','B']]来对两列进行转换，注意，不可以是df['A']或者df.A,因为df.A是Series不是二维的
LabelEncoder
可以将数据(类别型或者数值型都可以)转换为一个整数值，比如讲高中低转换为0,1,2，假设特征的取值类别有n种，那么转换到的范围就是[0:n]，LabelEncoder的输入必须是个一维的数组，如Series这种格式，如果是DataFrame则会报错，看个例子
df['B'] = ['a','b','c','d']
df
A B C
0 0 a 2
1 3 b 5
2 6 c 8
3 9 d 11
le = LabelEncoder()
le.fit_transform(df.A)
输出：array([0, 1, 2, 3])
le = LabelEncoder()
le.fit_transform(df.B)
输出：array([0, 1, 2, 3])
从例子中可以看出，LabelEncoder可以处理数值型和类别型数据
LabelBinarizer
将对应的数据转换为二进制型，有点类似于onehot编码，这里有几点不同，LabelBinarizer可以处理数值型和类别型数据，输入必须为1D数组，可以自己设置正类和父类的表示方式，下面看例子，还是用之前的数据
df
A B C
0 0 a 2
1 3 b 5
2 6 c 8
3 9 d 11
lb = LabelBinarizer()
lb.fit_transform(df.B)
输出
array([[1, 0, 0, 0],
[0, 1, 0, 0],
[0, 0, 1, 0],
[0, 0, 0, 1]])
也可以对数值型进行转换
lb.fit_transform(df.A)
array([[1, 0, 0, 0],
[0, 1, 0, 0],
[0, 0, 1, 0],
[0, 0, 0, 1]])
OneHotEncoder
来到注明的OneHot编码，注意，OneHotEncoder只能对数值型数据进行处理，还是上面的数据,只接受2D数组
df
A B C
0 0 a 2
1 3 b 5
2 6 c 8
3 9 d 11
onehot = OneHotEncoder(sparse=False)//不产生稀疏矩阵
onehot.fit_transform(df[['A']]) //传入B则会出错
array([[ 1., 0., 0., 0.],
[ 0., 1., 0., 0.],
[ 0., 0., 1., 0.],
[ 0., 0., 0., 1.]])