2021-06-13第一章：数据载入及初步观察

1.1 载入数据

1.1.1 任务一：导入numpy和pandas

截屏2021-06-13 15.13.01.png

1.1.2 任务二：载入数据
1）相对路径：以当前文件夹位置为基准的路径
f = open('./titanic/test.csv')

2）绝对路径：完整的路径

../ 表示当前文件所在的目录的上一级目录
./ 表示当前文件所在的目录(可以省略)
/ 表示当前站点的根目录
使用os.getcwd() 获取得知文件当前工作目录路径（绝对路径）
用pd.read_csv() 和pd.read_table()读取数据时，可以得到

截屏2021-06-15 09.20.32.png

截屏2021-06-15 09.20.42.png
pd.read_csv()默认分隔符为',' (逗号)
pd.read_table()默认分隔符为'/t' (tab)
用pd.read_csv()和pd.read_table()读取csv文件时，二者的呈现不同，前者更加清晰，后者数据用逗号隔开，相对不清晰

用pd.read_table()读取csv文件时，需要调整参数，加上',' 即可得到与pd.read_csv()读取csv文件时的呈现相同（如图）

截屏2021-06-15 12.15.23.png

TSV是用制表符（Tab,'\t'）作为字段值的分隔符；CSV是用半角逗号（','）作为字段值的分隔符

1.1.3 任务三：每1000行为一个数据模块，逐块读取

截屏2021-06-15 12.41.40.png

逐块读取的目的在于将文本分成若干块，以1000个行为为一个数据模块，chunksize=1000，对数据进行逐块统计的合并处理

1.1.4 任务四：将表头改成中文，索引改成乘客ID
header=0 表示文件第0行（索引从0开始）为列索引，这样加names会替换原来的列索引。

截屏2021-06-15 13.00.09.png

1.2 初步观察

1.2.1 任务一：查看数据基本信息
查看数据基本信息 df.info()

1.2.2 任务二：观察表格前10行和后15行数据

df. head (10) 和 df. tail (15)
若将二者合并一起观察即为

截屏2021-06-15 13.09.26.png

1.2.4 任务四：判断数据是否为空，空的返回True，其余返回False

1.3 保存数据

df.to_csv('./titanic/train_Chinese.csv') 是dataframe类的方法，保存csv文件到相对位置下

1.4 知道数据叫什么

1.4.1 任务一：了解dataframe和series，写个小例子

numpy具有优秀的计算机能，pandas在numpy的基础上，具有数据分析能力
pandas一维数据结构：Series（向量）二维数据结构：Dataframe
pd.Series() 即可创建series函数

截屏2021-06-15 14.18.31.png

pd.Dataframe()创建Dataframe结构

截屏2021-06-15 14.36.34.png

1.4.2 任务二：载入数据

df = pd.read_csv('./titanic/train.csv')

1.4.3 任务三：查看dataframe每列项

df.columns

1.4.4 任务四：查看Cabin所有项

df.Cabin

1.4.5 任务五：删除多余列
发现test_1.csv与train.csv的区别在于列a

df = pd.read_csv('./titanic/test_1.csv')
del df['a']

1.4.6 任务六：隐藏多个指定列

df.drop(['PassengerId','Name','Age','Ticket'],axis=1)
axis=1 代表跨列，axis=0代表跨行
若用drop语法完成任务五，即为
df.drop('a',axis=1)

【思考回答】
若需完全删除数据结构，即为

df.drop('columns',axis=1,inplace='True')
在这里就是df.drop('a',axis=1, inplace='True') 使用inplace就将原数据覆盖

1.5筛选逻辑

1.5.1 任务一：以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df["Age"]<10]

1.5.2 任务二：以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage
midage= df[(df["Age"]>10)&(df["Age"]<50)]
&表示两组数据集合

1.5.3 任务三：将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

截屏2021-06-15 19.37.54.png

如果缺少了midage = midage.reset_index(drop=True)这一步骤，我们会发现得出的数据不同，reset前的midage最后一条index的数字是890，但reset后最后一条index的数字是575，说明过滤掉了一些数据，那么没有reset这个步骤的话，得到的index=100的数据不一定是第100条的数据

1.5.4 任务四：将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.loc[[100,105,108],['Pclass','Name','Sex']]
loc只能通过index和columns来取，不能用数字

1.5.5 任务五：使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.iloc[[100,105,108],[3,4,5]]
iloc只能用数字索引，不能用索引名

1.6 了解数据

1.6.1 任务一：利用Pandas对示例数据进行排序，要求升序

行索引升序

df.sort_index(axis=0, ascending=True)
axis=0 代表行，ascending=True 代表升序

列索引升序

df.sort_index(axis=1, ascending=True)
axis=1 代表列

列索引降序，ascending=False 代表降序

df.sort_index(axis=1, ascending=False)
ascending=False 代表降序

让任选两列数据同时降序排序

df.sort_values(by=['e','d'],ascending=False)
发现df.sort_index(axis=1,by=['e','d'],ascending=False)运行错误：sort_index()不与by共用

1.6.2 任务二：对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列

df.sort_values(by=['票价','年龄'],ascending=False)
同时考虑以下关系
df.sort_values(by=['票价','是否幸存'],ascending=False)
df.sort_values(by=['是否幸存','乘客等级(1/2/3等舱位)'],ascending=True)
df.sort_values(by=['是否幸存','性别'],ascending=False)
发现票价高的，乘客等级高的，男性，存活率大

1.6.3 任务三：利用Pandas进行算术计算，计算两个DataFrame数据相加结果

截屏2021-06-15 21.13.14.png

截屏2021-06-15 21.13.21.png

对应的行和列的值会相加，没有对应的会变成空值NaN
frame_a * frame_b

1.6.4 任务四：通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

最大的家族人数即为乘客的（兄弟姐妹个数+父母子女个数）的最大值
max(df['兄弟姐妹个数'] + df['父母子女个数'])

1.6.5 任务五：学会使用Pandas describe()函数查看数据基本统计信息

frame2.describe()将会看到数据基本信息统计
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值

1.6.6 任务六：分别看看泰坦尼克号数据集中票价、父母子女这列数据的基本统计数据，你能发现什么？

用df['票价'].describe()查看某一列数据基本统计数据

截屏2021-06-15 21.37.17.png
得知票价平均值约32.2，最大值512.32，可知票价差距很大；标准差约为49.69，票价波动大
得知幸存概率较低
得知男性乘客有577名