数据分析中的数据处理以及特征分析
主要讲述在数据处理及特征分析中利用到的pandas库中的功能，该文以Datawhale提供的资料以及网络搜集的资源整理而成，如有错误欢迎指正。
目录
一.查看空缺的数值所在的位置
二.对缺失值进行处理
1.判断缺失值
2.处理缺失值
三.重复值观察与处理
1.查看数据中的重复值
2.对重复值经行处理
四. 特征观察与处理
1.列如对年龄进行分箱（离散化）处理
五.对文本变量进行转换
1. 查看类别文本变量名及种类
2.将类别文本转换为12345
3. 将类别文本转换为one-hot编码
一.查看空缺的数值所在的位置
方法一
作用为给出样本数据的相关信息概览 ：行数，列数，列索引，列非空值个数，列类型，内存占用
df.info() 方法二 作用为给出所有的列名，并在后显示各列的空值个数
df.isnull().sum()二.对缺失值进行处理
1.判断缺失值
方法1：is的判断速度要快于==，适用于数值，字符串等简单的结构，像列表，元组等复杂些的则无法判断
df[df['Age'] is None] = 0方法 2：判断数据是否为NAN，为缺失值返回True，否则为False，比上述is判断范围更大
df[df['Age'].isnull()] = 0方法3：此判断方法比上述两种更具优势，能够判断数据类型为float64
df[df['Age'] == np.nan] = 02.处理缺失值
方法1：删除
df.dropna().head(3)
用法dropna()删除所有存在缺失值的行
dropna(axis='columns')删除所有存在缺失值的列
dropna(how='all')删除缺失所有值的行
dropna(thresh=2)删除最少缺失两个值的行
dropna(subset=['列名', '列名'])删除缺失该任一列名下的值的行
dropna(inplace=True)将具有有效条目的数据帧保留在同一变量中,与第一相似
方法2：替换
df.fillna(0).head(3) 用法 fillna(0)将所有的NaN替换为0 #
fillna(method="ffill")将NaN替换为其前方非空值中的元素
values = {"列名": 替换成的值} ， df.fillna(value=values) 完成对应列空值的替换
fillna(value=values, limit=1)，仅替换第一行的NaN
df2 = pd.DataFrame(np.zeros((行数, 列数)), columns=list("列名"))， df.fillna(df2) df2中的值会替代df的相同位置且为NaN，位置相同为列名相同和所在行数相等
三.重复值观察与处理
1.查看数据中的重复值
df[df.duplicated()]用法df.duplicated()默认情况下，对于每组重复值，第一个匹配项设置为 False，所有其他值都设置为 True。
#df.duplicated(keep='last')通过使用“last”，每组重复值的最后一次出现设置在 False 上，所有其他值都设置为 True。
df.duplicated(keep=False)通过设置 False，所有重复项均为 True
df.duplicated(subset=['列名']）要查找特定列上的重复项
2.对重复值经行处理
df = df.drop_duplicates() # 删除重复的数据，其它用法与subset=['列名']删除特定的一样
df.head()
df.to_csv('test_clear.csv') # 保存清洗后的数据四. 特征观察与处理
1.列如对年龄进行分箱（离散化）处理
方法一、将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], 5, labels=[1, 2, 3, 4, 5])用法pd.cut(数组（必须是一维的），分组数，labels=['分组名称'])
方法二、将连续变量Age划分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，并分别用类别变量12345表示
df['AgeBand'] = pd.cut(df['Age'], [0, 5, 15, 30, 50, 80], labels=[1, 2, 3, 4, 5])方法三、将连续变量Age按10% 30% 50 70% 90%五个年龄段，并用分类变量12345表示
df['AgeBand'] = pd.qcut(df['Age'], [0, 0.1, 0.3, 0.5, 0.7, 0.9], labels=[1, 2, 3, 4, 5])五.对文本变量进行转换
1. 查看类别文本变量名及种类
value_counts
df['Sex'].value_counts()
df['Cabin'].value_counts()DataFrame.value_counts(subset=None, normalize=False, sort=True, ascending=False, dropna=True)
subset:对唯一组合进行计数时要使用的列
normalize:返回比例而不是频率
sort:按频率排序
ascending:按升序排序
dropna:不要包含包含 NA 值的行计数
2.将类别文本转换为12345
方法一: replace
df['Sex_num'] = df['Sex'].replace(['male', 'female'], [1, 2])
df.head()用法：将['male','female'],替换成[1,2]
通过replace({0:10,1:100})可以将列表中的所有0替换成10，1替换成100
replace({'列名': 0, '列名': 5}, 100)将特定列名的0，5替换成100
replace({'列名': {0: 100, 4: 400}})将特定列中的0替换成100，将4替换成400
df.replace(regex=r'^”特征“.$', value='目标')将具有包含“特征”的元素替换成‘目标’
replace({'A': r'^ba.$'}, {'A': 'new'}, regex=True)作用同上但有列的范围
方法二：map
df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
df.head()3. 将类别文本转换为one-hot编码
OneHotEncoder
for feat in ["Age", "Embarked"]:
# x = pd.get_dummies(df["Age"] // 6)
# x = pd.get_dummies(pd.cut(df['Age'],5))
x = pd.get_dummies(df[feat], prefix=feat) # 将类别变量转换为虚拟/指示符变量，即将feat中不同类别的量转化成二维的0与1
df = pd.concat([df, x], axis=1) # 将x中的数据连接转化到表格上axis=1即为转化成列的形式，axis=0时为行
# df[feat] = pd.get_dummies(df[feat], prefix=feat)
df.head()
df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)
# 如果为 True，则返回 DataFrame，每个捕获组包含一列。如果为 False，则返回序列/索引（如果有一个捕获组）或 DataFrame（如果有多个捕获组）