2020-08-21 泰坦尼克号 数据清洗和特征工程

1. 开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np 
import pandas as pd

2. 数据清洗简述

目的：将数据清洗成可以分析或建模的样子
清洗对象：缺失值、重复值、异常值、数据转换等等

3. 缺失值观察与处理
   任务一:观察缺失值
   任务二:对缺失值进行处理

#观察缺失值
#方法一
df.info()
#方法二
df.isnull().sum()

#处理缺失值：
#drop掉  
df.dropna()
#填充  
df.fillna(0)
#附上特定的值
df[df['Age']==None]=0

4. 重复值观察与处理
   任务一:请查看数据中的重复值
   任务二:对重复值进行处理
   任务三:将前面清洗的数据保存为csv格式

df[df.duplicated()] 
df.drop_duplicates().head()
df.to_csv('test_clear.csv')

5. 特征观察与处理
   任务一:对年龄进行分箱(离散化)处理
   任务二:对文本变量进行转换
   任务三(附加):从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

任务一：运用pd.cut()

#将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示 
df['AgeBand'] = pd.cut(df['Age'], 5,labels = ['1','2','3','4','5'])

任务二：运用one-hot编码表示

#将类别文本转换为12345
#方法一: replace
df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])

#方法二: map
df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})


#方法三: 使用sklearn.preprocessing的LabelEncoder 
from sklearn.preprocessing import LabelEncoder 
for feat in ['Cabin', 'Ticket']:
	lbl = LabelEncoder()
	label_dict = dict(zip(df[feat].unique(), range(df[feat].nunique()))) 
	df[feat + "_labelEncode"] = df[feat].map(label_dict)
	df[feat + "_labelEncode"] = lbl.fit_transform(df[feat].astype(str))```

#将类别文本转换为one-hot编码
#方法一: OneHotEncoder
for feat in ["Age", "Embarked"]:
# x = pd.get_dummies(df["Age"] // 6)
# x = pd.get_dummies(pd.cut(df['Age'],5))
x = pd.get_dummies(df[feat], prefix=feat)
df = pd.concat([df, x], axis=1)
#df[feat] = pd.get_dummies(df[feat], prefix=feat)