datawhale6月组队学习-task01
datawhale6月组队学习-task01
1.数据加载
利用kaggle网站的泰坦尼克号数据集进行学习分析
下载网址： https://www.kaggle.com/c/titanic/overview
# 导入相关库
import numpy as np
import pandas as pd
import os
1.1 加载数据
(1) 使用相对路径载入数据
# 相对路径载入
os.getcwd() #查看当前工作目录，将数据集复制到这里
train_data = pd.read_csv('train.csv')
train_data.head(5)
(2) 使用绝对路径载入数据
# 绝对路径载入
train_data = pd.read_csv(r'F:\jupyter\datawhale_dataAnalysis\train.csv')
train_data.head(5)
加载其他格式的数据集，例如txt，xlsx等可以参考以下链接：
IO tools (text, CSV, HDF5, …) — pandas 1.2.4 documentation (pydata.org)
数据加载-简书
Comparison with SQL — pandas 1.2.4 documentation (pydata.org)
1.2 逐块读取
目的是从超大的数据集中读取电脑内存所能承受大小的数据集
for chunk in chunkers:
print(chunk)
print(chunk.shape)
print(type(chunk))
1.3 更改表头
colnames = ['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']
# train_data = pd.read_csv('train.csv', names=colnames,header=0) 乘客ID在数据列中
train_data = pd.read_csv('train.csv', names=colnames,header=0,index_col='乘客ID')
train_data
1.4 转换成csv表
train_data.to_csv('train_chinese.csv',encoding='GBK')
2.初步分析
2.1 info()和describe()
train_data.info()
train_data.describe()
2.2 缺失值
# 查看每一列的缺失值个数
train_data.isnull().sum()
# 可视化缺失值
import missingno as msno
msno.matrix(train_data)
msno.bar(train_data)
缺失值处理：删除；填充（线性插值、移动平均、向前/向后、机器学习建模方法）
2.3 异常值
# 画箱线图
import matplotlib.pyplot as plt
import seaborn as sns
plt.figure(figsize=(12,6))
plt.grid(linestyle="--",alpha=0.2) #加格子线
sns.boxplot(x="Survived", y='Age', data=train_data, showmeans=True)
plt.tight_layout()
(2条消息) pandas数据的异常值判断、可视化以及异常值的处理_梁先森的博客-CSDN博客
异常值处理：用max/min代替
2.4 条件筛选
（1）series和dataframe介绍
https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html
删除一列的方法：del，drop(inplace=True)，pop
（2）loc和iloc区别
df.loc[‘label’] = df.iloc[index]
#将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
midage.loc[[100,105,108],['Pclass','Name','Sex']]
midage.iloc[[100,105,108],[2,3,4]]
（3）按列筛选
# 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage
# 交集：&；并集：|
midage = train_data[(train_data["Age"]>10)& (train_data["Age"]<50)]
midage
（4）分组筛选
Comparison with SQL — pandas 1.2.4 documentation (pydata.org)
# 例子：数据挖掘hw3
gp = data.groupby(["省份"])["累计确诊人数"].sum().reset_index() # reset_index重置index
gp['累计确诊人数'] = gp['累计确诊人数'].astype('int') #对原始数据进行转换并覆盖原始数据列
gp
tablebar = gp.sort_values(by='累计确诊人数',ascending=False).head(10)
tablebar.index = range(len(tablebar))
tablebar
3.探索性分析
《利用Python进行数据分析》/《Python for Data Analysis》第五章
3.1 排序
（1）按行、列索引
# 行索引（默认升序）
df.sort_index()
# 列索引（默认升序）
df.sort_index(axis=1)
# 行索引降序
df.sort_index(ascending=False)
（2）按某一列的值
df.sort_values(by=['票价', '年龄'], ascending=False)
可分析票价和存活（存活率）之间的关系，年龄和存活（存活率）之间的关系
3.2 分组分析
# 最大家族有多少人
max(df['兄弟姐妹个数'] + df['父母子女个数'])
df.sort_values(by=['票价', '年龄'], ascending=False)
可分析票价和存活（存活率）之间的关系，年龄和存活（存活率）之间的关系
3.2 分组分析
# 最大家族有多少人
max(df['兄弟姐妹个数'] + df['父母子女个数'])