Python数据分析之Pandas的数据加载与预处理
一、数据分析
数据分析就是让看似杂乱无章的数据产生价值，通过数据的筛选、汇总等等操作将数据背后的信息集中和提炼出来，最终分析出一个结果或预测出事件的变化规律。
二、数据清洗
数据加载与预览
1、去除/填充有缺失的数据
2、去除/修改格式错误或内容错误的数据
3、去除/修改逻辑错误的数据
4、去除不需要的数据
5、关联性验证
三、Pandas简介
Pandas 库是一个基于NumPy的免费、开源的第三方 Python 库，是 Python 数据分析必不可少的工具之一，它为 Python 数据分析提供了高性能，且易于使用的数据结构，即 Series 和 DataFrame。Pandas 自诞生后被应用于众多的领域，比如财务系统、管理系统、金融、统计学、社会科学等。 Pandas享有Python数据分析“三剑客之一”的盛名，已经成为 Python 数据分析的必备高级工具
Pandas 主要是用作提炼数据使用
Numpy 则提供强大的科学计算
Matplotlib 负责数据可视化的操作
四、Pandas基本使用
1、常见格式数据读取
pd.read_excel() # 从excel的.xls或.xlsx格式读取表格数据
pd.read_csv() # 从csv文件读取数据
pd.read_table() # 从txt文件读取数据
pd.read_sql() # 将sql查询的结果（使用SQLAlchemy）读取为pandas的DataFrame
pd.read_html() # 读取网页中的表格数据
pd.read_json() # 从json字符串中读取数据
pd.read_xml # 从xml文件中读取数据
2、常用函数
data.shape # 数据维度，看看数据多少行，多少列
data.head(3) # 检查头数据
data.info() # 查看数据基本信息
data.dtypes # 查看数据类型
data.describe() # 查看数值数据统计信息
count：数量统计，此列共有多少有效值
unipue：不同的值有多少个
std：标准差
min：最小值
25%：四分之一分位数
50%：二分之一分位数
75%：四分之三分位数
max：最大值
mean：均值
3、数据存储
df.to_csv() # 存储为csv文件
df.to_excel() # 存储为excel文件
df.to_html() # 存储为html文件
df.to_json() # 存储为json文件
df.to_sql() # 存储为sql文件
4、查看指定多行、列
data.columns.tolist()
data[1:5]
data[[’ip’,’phone’]]
5、查看指定数据
data.loc[row,columns] 基于标签索引选取数据 前闭后闭
data.iloc[row,columns] 基于整数索引选取数据 前闭后开
6、缺失值检查与处理
data[data.isnull().values] # 查看缺失值
data.dropna() # 删除缺失值
data.fillna() # 填充缺失值
7、缺失值检查处理
data.isna().sum().sum() # 检查全部缺失值总数
data.isnull().sum() # 检查每列缺失值
# 将缺失值进行高亮
(data[data.isnull().any(1) == True]
.style
.highlight_null(null_color='skyblue')
.set_table_attributes('style="font-size: 10px"'))
data1 = data.fillna('*********') # 填充固定值
data2 = data.fillna(method='bfill') # 向下填充
# # 均值填充
data3 = data['收益（元）'].fillna(data['收益（元）'].mean())
data3.map(lambda cell: '%.2f' % cell)
8、异常值检查与处理
# 大多数时候，我们是从csv文件中导入的数据，此时Dataframe中对应的时间列是字符串或时间戳的形式
# type(user['create_time'][1])
# 运用pd.to_datetime()，可以将对应的列转换为Pandas中的datetime64类型，便于后期的处理
user['create_time'] = pd.to_datetime(user['create_time'],unit='s')
user['create_time'] = user['create_time'].map(lambda x : pd.to_datetime(x,unit='s'))
type(user['create_time'][1])
# 时间序列的索引。和普通索引一样，调用.loc[row,columns]进行索引
user1 = user.set_index('create_time')
user1.loc['2022-05']
# 2022年5月-2022年7月的数据
user1.loc['2022-05':'2022-07’]
user[‘create_time’].dt.month
9、重复值检查与处理
data[data.duplicated()] # 筛选重复值所在行
data[data.duplicated([‘姓名’])] # 筛选指定列存在重复项所在的行
data.drop_duplicates() # 删除重复值所在行
10、数据修改
修改列名rename()
df.rename(columns={'姓名':'名字','性别':'男女'})
修改行索引set_index()
df.set_index('id',inplace=True) #指定字段，成为索引
df.reset_index(inplace=True) #重置索引
df.drop(['index'])
修改索引名rename_axis()
# 修改索引名字 df.rename_axis('自加索引')
修改某一个值：df.iloc[0,1]='李三'
替换指定的值：
替换值（单值）replace()
将5000.0替换为4444：
替换值（多值）replace()
11、数据删除
1、删除指定行
df.drop(1)
2、删除条件行
删除id=5099.0的行
3、删除列
删除性别这一字段所在的列
4、按列号删除列
