数据清洗
0.常用库导入
import pandas as pd
import numpy as pd
import matplotlib.pyplot as plt
1.1数据整合
df1=pd.read_csv('111.csv')
df2=pd.read_csv('222.csv')
df=df.concat([df1,df2],axis=0)
df.info()
1.2数据匹配
df=df1.merge(df2,how='left',on=['左表列匹配唯一值',‘右表列匹配唯一值’’])
2.1.数据概况
df.info()
df.shape()
df.head()
2.2判断数据的重复情况以及重复值处理
df[df.duplicated()]:查看重复的数据
df.drop_duplicates():去重操作，所有列都重复
df.drop_duplicates(‘id’)：去除id列重复的所有记录
3.1判断数据的缺失情况
df.isnull()：返回布尔值true1 false0
df.isnull().sum()：返回每个字段缺失值的数量
df.isnull().any()：返回哪些列有缺失值
df.isnull().sum(axis=0)/df.shape[0]：缺失值的比例
3.2缺失值处理：删、补、不处理
根据缺失值的分布将缺失值分为：
完全随机缺失：对其他变量无影响：eg：家庭住址
随机缺失：
非随机缺失：高收入
对于随机缺失和非随机缺失，不可以直接删除。
删 ：除非数据量非常大，否则不建议直接删除
df.dropna(how=‘any’)
补： 替换缺失值、拟合缺失值
替换缺失值分为 众数替换（定性变量）、中位数（含异常值）、 平均值、热卡填补、k均值聚类（找相似）
拟合缺失值（预测）包括：回归、极大似然估计、随机森林、虚拟变量
#替换price列的缺失值
df['price'].fillna(df['price'].median())
df['price'].fillna(df['price'].mean())
df.fillna(value = {'gender': df['gender'].mode()[0],
# 使用性别的众数替换缺失性别
'age':df['age'].mean() # 使用年龄的平均值替换缺失年龄},
inplace = True # 原地修改数据)
以众数、中位数、平均数替换的值往往不具有高准确性，所以有了拟合缺失值的方法，（机器学习等等预测缺失的值）
对Titanic数据集中的Age变量做插补法完成缺失值的处理
KNN分类回归模型举例：
# 读取数据
titanic = pd.read_csv('Titanic.csv')
# 删除缺失严重的Cabin变量
titanic.drop(labels='Cabin', axis = 1, inplace=True)
# 根据Embarked变量，删除对应的缺失行
titanic.dropna(subset=['Embarked'], inplace=True)
# 删除无关紧要的变量（这些变量对后面预测年龄没有太多的帮助）
titanic.drop(labels=['PassengerId','Name','Ticket','Embarked'], axis = 1, inplace=True)
# 将字符型的性别变量映射为数值变量
titanic.Sex = titanic.Sex.map({'male':1, 'female':0})
# 将数据拆分为两组，一是年龄缺失组，二是年龄非缺失组，后续基于非缺失值构建KNN模型，再对缺失组做预测
nomissing = titanic.loc[~titanic.Age.isnull(),]
missing = titanic.loc[titanic.Age.isnull(),]
# 导入机器学习的第三方包
from sklearn import neighbors
# 提取出所有的自变量
X = nomissing.columns[nomissing.columns != 'Age']
# 构建模型
knn = neighbors.KNeighborsRegressor()
# 模型拟合
knn.fit(nomissing[X], nomissing.Age)
# 年龄预测
pred_age = knn.predict(missing[X])
分类回归模型代码借鉴博主：嘿呀嘿呀 拔罗卜
网址：
https://blog.csdn.net/weixin_42587745/article/details/90643962?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159669848119724845061831%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=159669848119724845061831&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v3~pc_rank_v2-4-90643962.first_rank_ecpm_v3_pc_rank_v2&utm_term=python++%E6%95%B0%E6%8D%AE%E7%9A%84%E7%BC%BA%E5%A4%B1%E5%80%BC%E5%A4%84%E7%90%86&spm=1018.2118.3001.4187
4数据筛选
df=pd.red_csv('mam.xls',encoding='gbk',sep='\t')
print(df.shape)
df=df[(df['科目']=='语文')&(df['成绩']>=80)&(df[‘班级’].isin([‘一年级’，‘二年级’，‘三年级’]))]
5数据透视表
df_pivot=df.pivot_table(index='姓名',columns='科目'，values=‘成绩’,aggfunc='sum',fill_val=0,margins=True,Margins_naem='合计')
df_pivot
6数据排序
df.sort_values(by='合计',inplace='True',ascending='False')
# inplace 作用：是否在原对象基础上修改
True:不创建新对象，直接在原对象修改
False:对数据进行修改，创建并返回新的对象承载其修改结果。
#ascending 的False:desc
7.数据替换
df=df.replace('南过','难过')
df=df.replace('?','np.nan') #精准匹配
df=df.replace('Tai', 'Cy', regex=True) #模糊匹配