Task02：数据清洗及特征处理

数据清洗及特征处理

1.导入numpy、pandas包和数据

import numpy as np

import pandas as pd

df = pd.read_csv('train.csv')

df.head(3)

拿到的数据通常是不干净的，数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模。

拿到数据的第一步是进行数据清洗，进行缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的样子。

2.缺失值观察与处理

缺失值观察-查看每个特征缺失值个数

df.info()

查看详细信息

pd.isnull(df)

查看缺失值，True表示缺失值

df.isnull().sum()

查看缺失值个数

df.isnull().mean()

查看缺失值比例

缺失值观察-查看Age， Cabin， Embarked列的数据

df[['Age','Cabin','Embarked']].head(3)

缺失值处理-处理Age列的数据的缺失值

df[df['Age']==None]=0

df.head(3)

df[df['Age'].isnull()] = 0

df.head(3)

df[df['Age'] == np.nan] = 0

df.head()

检索空缺值，比较np.nan,None以及.isnull()

None<.isnull()

数值列读取数据后，空缺值的数据类型为float64，使用None一般索引不到。

比较的时候最好用np.nan。

缺失值处理-对整张表的缺失值进行处理

df.dropna().head(3)

df.fillna(0).head(3)

dropna和fillna的参数

dropna的参数：

axis：默认为0即'index',1为'columns'

how：all和any，默认为any，how='all'删除全是缺失值的行

thresh：保留至少含有n个非缺失值数值的行

subset：去除特定列的缺失值

inplace：inplace=True直接在原数据上修改

fillna的参数:：

value：标量值或字典型对象来填充缺失值

method：‘backfill’/‘bfill’用后一个值填充上面的缺失值

                ‘pad’/‘ffill’用前一个值去填充下面的缺失值

axis：默认为0即'index',1为'columns'

inplace：inplace=True改变原数据.

limit：限制填充个数

3.重复值观察与处理

查看数据中的重复值

df[df.duplicated()]

删除数据中的重复值

df = df.drop_duplicates()

df.head()

保存前面清洗的数据

df.to_csv('test_clear.csv')

4.特征观察与处理 

 特征大概分为两大类：

数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征。

文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征。

对年龄进行封箱操作

分箱操作是指对连续值进行离散，分组操作。

将Age平均分箱成5个年龄段，分别用类别变量12345表示

df['AgeBand'] = pd.cut(df['Age'], 5,labels = [1,2,3,4,5])

df.head()

将Age分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，分别用类别变量12345表示

df['AgeBand'] = pd.cut(df['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])

df.head(3)

将Age分为10% 30% 50 70% 90%五个年龄段，分别用分类变量12345表示

df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])

df.head()

对本文变量进行转换

查看类别文本变量名及种类

value_counts

df['Sex'].value_counts()

df['Embarked'].value_counts()

unique

df['Sex'].unique()

将文本变量Sex， Cabin ，Embarked用数值变量12345表示

replace

df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])

df.head()

map

df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})

df.head()

使用sklearn.preprocessing的LabelEncoder

from sklearn.preprocessing import LabelEncoder

for feat in ['Cabin', 'Ticket']:

        lbl = LabelEncoder() 

        label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique())))

        df[feat + "_labelEncode"] = df[feat].map(label_dict)

        df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))

df.head()

将文本变量Sex， Cabin， Embarked用one-hot编码表示

OneHotEncoder

for feat in ["Age", "Embarked"]:

        x = pd.get_dummies(df[feat], prefix=feat)

        df = pd.concat([df, x], axis=1)

df.head()

从纯文本Name特征里提取出Titles的特征(Mr,Miss,Mrs等)

df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)

df.head()

---

DataWhale开源学习资料：

https://github.com/datawhalechina/hands-on-data-analysis