数据预处理学习笔记

1.缺失数据的处理

1.1 搜索缺失值
先读取数据，利用read_csv函数将CSV（comma-separed value,以逗号为分隔符的数值）格式的数据读到pandas的数据框（DataFrame）中。
StringIO函数起到演示作用：如果我们的数据是存储在硬盘上的CSV文件，就可以通过此函数以字符串的方式从文件中读取数据，并将其转换成DataFrame的格式赋值给csv_data。
（注意：StringIO函数来自库io，是用来在内存中读取str的）
代码示例：

import pandas as pd
from io import StringIO
csv_data='''A,B,C,D
1.0,2.0,3.0,4.0
5.0,6.0,,8.0
0.0,11.0,12.0,'''
df=pd.read_csv(StringIO(csv_data))

注意：read_csv函数是在库pandas中的，所以调用的时候要用pandas.read_csv

df
Out[8]: 
     A     B     C    D
0  1.0   2.0   3.0  4.0
1  5.0   6.0   NaN  8.0
2  0.0  11.0  12.0  NaN

可以直接看到此时的文件中有哪些缺失值，这里用NaN（Not A Number）表示。

对于大的数据框，手工搜索缺失值是及其繁琐的，在此情况下，我们可以使用pandas库中的isnull()函数,isnull()函数返回一个布尔值的DataFrame值，若DataFrame的元素单元包含数字型数值则返回值为假，若数据值缺失则返回值为真。还可以通过sum函数，计算每列中缺失值的数量。
示例代码：

df.isnull().sum()
Out[9]: 
A    0
B    0
C    1
D    1
dtype: int64

注意：这里延续前面的例子。这里计算得到每一列的缺失值数量
然后可以用DataFrame的values属性来访问相关的Numpy数组，如下：

df.values
Out[11]: 
array([[ 1.,  2.,  3.,  4.],
       [ 5.,  6., nan,  8.],
       [ 0., 11., 12., nan]])

1.2 将存在缺失值的特征或样本删除
利用dropna()函数来删除数据集中包含缺失值的行

df.dropna()
Out[12]: 
     A    B    C    D
0  1.0  2.0  3.0  4.0

将axis参数设为1，以删除数据集中至少包含一个NaN值的列

df.dropna(axis=1)
Out[13]: 
     A     B
0  1.0   2.0
1  5.0   6.0
2  0.0  11.0

删除所有列为NaN的行

df.dropna(how='all')
Out[14]: 
     A     B     C    D
0  1.0   2.0   3.0  4.0
1  5.0   6.0   NaN  8.0
2  0.0  11.0  12.0  NaN

删除非NaN值少于4个的行

df.dropna(thresh=4)
Out[15]: 
     A    B    C    D
0  1.0  2.0  3.0  4.0

删除在特定列出现NaN的行，下面示例选择‘C’列

df.dropna(subset=['C'])
Out[16]: 
     A     B     C    D
0  1.0   2.0   3.0  4.0
2  0.0  11.0  12.0  NaN

注意：这里没有强调将axis参数设为1则删除的都是行数据
删除缺失数据的缺点：可能删除过多的样本，导致分析结果可靠性不高；如果删除了过多的特征列，可能会面临丢失有价值信息的风险。

1.3 缺失数据填充
利用插值技术填充缺失数据，比如均值插补，中位数插补，众数插补

from sklearn.preprocessing import Imputer
imr=Imputer(missing_values='NaN',strategy='mean',axis=0)
imr=imr.fit(df)
imputed_data=imr.transform(df.values)

结果：

imputed_data
Out[25]: 
array([[ 1. ,  2. ,  3. ,  4. ],
       [ 5. ,  6. ,  7.5,  8. ],
       [ 0. , 11. , 12. ,  6. ]])

注意：要用中位数或者众数来填充，可以直接把strategy换成‘median’或者‘most_frequent’

注意：fit函数用于对数据集中的参数进行识别并构建相应的数据补齐模型，而transform函数则使用刚构建的数据补齐模型对数据集中相应参数的缺失值进行补齐

2.处理类别数据

$$类别数据\{\begin{array}{r}标称特征\\ 有序特征\end{array}$$
有序特征：类别的值是有序的或者可以排序的
标称特征：不具备排序的特性
先构造一个数据集：

import pandas as pd
df=pd.DataFrame([
        ['green','M',10.1,'class1'],
        ['red','L',13.5,'class2'],
        ['blue','XL',15.3,'class1'],])
df.columns=['color','size','price','classlabel']

df
Out[33]: 
   color size  price classlabel
0  green    M   10.1     class1
1    red    L   13.5     class2
2   blue   XL   15.3     class1

上述数据集包含一个标称特征（颜色），一个有序特征（尺寸）以及一个数值特征（价格）。

2.1 有序特征的映射
上述数据集中有一个有序特征，这里我们定义一个字典映射，将‘XL’,‘L’,'M’分别映射到‘1’，‘2’，‘3’

size_mapping={
        'XL':3,
        'L':2,
        'M':1}
df['size']=df['size'].map(size_mapping)

先构造字典，然后将字典作为map函数的参数（map函数的参数是一个函数），然后把map函数应用于df的size列

df
Out[35]: 
   color  size  price classlabel
0  green     1   10.1     class1
1    red     2   13.5     class2
2   blue     3   15.3     class1

要把size列的值转换回来，可以构造一个逆映射

inv_size_mapping={v:k for k,v in size_mapping.items()}
df['size']=df['size'].map(inv_size_mapping)

df
Out[40]: 
   color size  price classlabel
0  green    M   10.1     class1
1    red    L   13.5     class2
2   blue   XL   15.3     class1

2.2 类标的编码
直接用枚举的方式，从0开始设定类标

import numpy as np
class_mapping={label:idx for idx,label in enumerate(np.unique(df['classlabel']))}
print(class_mapping)
df['classlabel']=df['classlabel'].map(class_mapping)
print(df)

df
Out[20]: 
   color  size  price  classlabel
0  green     1   10.1           0
1    red     2   13.5           1
2   blue     3   15.3           0

其中class_mapping={label:idx for idx,label in enumerate(np.unique(df['classlabel']))}定义了一个字典映射，先用unique函数把所有出现过的类标找出来，然后用enumerate函数把类标与相应的下标对应起来。（实在不知道怎么描述，但是如果清楚enumerate这个函数的用法就能清楚这一行代码做了什么。下面补充unique函数和enumerate函数的用法。）

• unique函数： numpy库中的unique()函数返回参数数组中所有不同的值，并按照从小到大排序，示例代码如下：

import numpy as np

a=[1,2,1,0,2,1]

np.unique(a)
Out[3]: array([0, 1, 2])

• enumerate() 函数：用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。示例代码如下：

alist=['abc','bac','cab','ccb']
bdict={}
for idx,value in enumerate(alist):
    bdict[value]=idx
bdict
Out[4]: {'abc': 0, 'bac': 1, 'cab': 2, 'ccb': 3}

然后设置一个逆字典映射，把数字类标转换成相应的文字类标

inv_class_mapping={value:key for key,value in class_mapping.items()}
df['classlabel']=df['classlabel'].map(inv_class_mapping)

结果：

df
Out[16]: 
   color  size  price classlabel
0  green     1   10.1     class1
1    red     2   13.5     class2
2   blue     3   15.3     class1

除了自己设置字典映射，还可以直接用scikit_learn中的LabelEncoder类来完成对类标的整数编码工作

from sklearn.preprocessing import LabelEncoder
class_le=LabelEncoder()
y=class_le.fit_transform(df['classlabel'].values)

y
Out[28]: array([0, 1, 0])

然后可以使用inverse_transform函数把整数类标还原为原始的字符串

class_le.inverse_transform(y)
Out[29]: array(['class1', 'class2', 'class1'], dtype=object)

2.3 标称特征上的独热编码

from sklearn.preprocessing import LabelEncoder
X=df[['color','size','price']].values
class_le=LabelEncoder()
X[:,0]=class_le.fit_transform(X[:,0])
print(X)

输出：

[[1 1 10.1]
 [2 2 13.5]
 [0 3 15.3]]

此时，虽然颜色的值并没有特定的顺序，但是学习算法将假定green大于blue，red大于green。虽然算法的这一假定不太合理，但最终还是能够生成有用的结果。然而这个结果可能不是最优的。
解决此问题最常用的方法就是独热编码（one-hot encoding）技术。这种方法的理念就是创建一个新的虚拟特征，虚拟特征的每一列代表标称数据的一个值。在此，我们将color特征转换为三个新的特征：blue，green，red。此时可以使用二进制值来标识样本的颜色。例如，蓝色样本可以标识为：blue=1，green=0，red=0.此编码转换可以使用scikit-learn。preprocessing模块中的OneHotEncoder来实现：

from sklearn.preprocessing import OneHotEncoder
ohe=OneHotEncoder(categorical_features=[0])
print(ohe.fit_transform(X).toarray())

注意：参数categorical_features=[0]表示要转换的特征所在的位置为特征矩阵X的第1列。默认情况下，我们调用OneHotEncoder的transform方法时，它会返回一个稀疏矩阵。这里用了toarray方法把这个稀疏矩阵转换成一个常规的NumPy数组。为了达到这个可视化的目的，我们也可以直接在初始化时指定参数sparse=False：

ohe=OneHotEncoder(categorical_features=[0],sparse=False)

输出结果：

[[ 0.   1.   0.   1.  10.1]
 [ 0.   0.   1.   2.  13.5]
 [ 1.   0.   0.   3.  15.3]]

另外，我们也可以通过pandas中的get_dummies方法，更加方便地实现独热编码技术中的虚拟特征。当应用于DataFrame数据时，get_dummies方法只对字符串列进行转换，而其他列保持不变。

pd.get_dummies(df[['price','color','size']])
Out[42]: 
   price  size  color_blue  color_green  color_red
0   10.1     1           0            1          0
1   13.5     2           0            0          1
2   15.3     3           1            0          0