Task01：数据加载及探索性数据分析

一、数据加载

1.载入数据

导入numpy和pandas

import numpyas np

import pandasas pd

载入数据—使用相对路径载入数据

df= pd.read_csv('train.csv')

print(df.head(3))

载入数据—使用绝对路径载入数据

df= pd.read_csv('D:/pycharm/DA/1/train.csv')

print(df.head(3))

相对路径载入报错时，可以使用os.getcwd()查看当前工作目录。

pd.read_csv()和pd.read_table()的区别

设置参数sep，可以使pd.read_csv()和pd.read_table()效果相同。

'.tsv'和'.csv'的不同

TSV是用制表符（Tab,'\t'）作为字段值的分隔符。

CSV是用半角逗号（','）作为字段值的分隔符。

'.tsv'和'.csv'的读取

可以使用pd.read_csv()读取'.csv'文件。

可以使用pd.read_table()读取'.tsv'文件。

每1000行为一个数据模块，逐块读取

chunker= pd.read_csv('train.csv',chunksize=1000)

查看chunker的类型，使用for循环打印chunker

将表头改成中文

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)

print(df.head)

可以在加载完数据之后，修改列名。

df = pd.read_csv("train.csv")

df.columns=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']

print(df.head)

2.初步观察

查看数据的基本信息

df= pd.read_csv('train.csv')

print(df.info())

观察表格前10行的数据和后15行的数据

print(df.head(10))

print(df.tail(15))

判断数据是否为空

print(df.isnull().head())

观察数据的其他信息

#返回所有列的求和值

df.sum() 

#返回所有列的均值

df.mean()

#返回列与列之间的相关系数 

df.corr()

3.保存数据

保存做出改变的数据

df.to_csv('train_chinese.csv')

二、pandas基础

1.了解数据类型

查看数据类型Series和DateFrame

sdata= {'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}

example_1 = pd.Series(sdata)

print(example_1)

data= {'state': ['Ohio','Ohio','Ohio','Nevada','Nevada','Nevada'],

'year': [2000,2001,2002,2001,2002,2003],'pop': [1.5,1.7,3.6,2.4,2.9,3.2]}

example_2 = pd.DataFrame(data)

print(example_2)

加载'train.csv'文件

df= pd.read_csv('train.csv')

print(df.head(3))

查看DataFrame数据的每列的名称

print(df.columns)

查看"Cabin"这列的所有值

print(df['Cabin'].head(3))

print(df.Cabin.head(3))

加载文件"test_1.csv"，然后对比"train.csv"

test_1= pd.read_csv('test_1.csv')

print(test_1.head(3))

删除多余的列

del test_1['a']

print(test_1.head(3))

 将['PassengerId','Name','Age','Ticket']这几个列元素隐藏

print(df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3))

2.了解筛选的逻辑

筛选是指选出需要的信息，丢弃无用的信息。

以"Age"为筛选条件，显示年龄在10岁以下的乘客信息

print(df[df["Age"]<10].head(3))

 以"Age"为条件，显示年龄在10岁以上和50岁以下的乘客信息，命名为midage

midage= df[(df["Age"]>10)& (df["Age"]<50)]

print(midage.head(3))

将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage = midage.reset_index(drop=True)

print(midage.head(3))

midage中存放的是经过筛选的数据。reset_index的作用是重置索引。

print(midage.loc[[100],['Pclass','Sex']])

使用loc方法将midage中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

print(midage.loc[[100,105,108],['Pclass','Name','Sex']] )

使用iloc方法将midage中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

print(midage.iloc[[100,105,108],[2,3,4]])

对比iloc和loc的异同

loc通过行标签索引行数据 ，iloc通过行号索引行数据。

三、探索性数据分析

1.导入numpy、pandas和数据

import numpy as np

import pandas as pd

text = pd.read_csv('train_chinese.csv')

print(text.head())

2.了解数据

利用Pandas对示例数据进行排序，要求升序

构建一个都为数字的DataFrame数据

frame= pd.DataFrame(np.arange(8).reshape((2,4)),

                                   index=['2','1'],

                                   columns=['d','a','b','c'])

print(frame)

根据“c”列升序排序

print(frame.sort_values(by='c',ascending=True))

sort_values函数中，by参数指向要排列的列，ascending参数指向排序的方式。

各种排序方式

行索引升序排序

print(frame.sort_index())

列索引升序排序

print(frame.sort_index(axis=1))

列索引降序排序

print(frame.sort_index(axis=1,ascending=False))

任选两列数据同时降序排序

print(frame.sort_values(by=['a','c'],ascending=False))

对数据（trian.csv）按票价和年龄两列进行降序排列

print(text.sort_values(by=['票价','年龄'],ascending=False).head(3))

计算两个DataFrame数据相加结果

frame1_a= pd.DataFrame(np.arange(9.).reshape(3,3),

                                             columns=['a','b','c'],

                                             index=['one','two','three'])

frame1_b = pd.DataFrame(np.arange(12.).reshape(4,3),

                                           columns=['a','e','c'],

                                            index=['first','one','two','second'])

print(frame1_a)

print(frame1_b)

print(frame1_a+ frame1_b)

两个DataFrame相加，对应的行和列的值相加，没有对应的会变成空值NaN。

计算出在船上最大的家族的人数

家族人数等于兄弟姐妹的个数加上父母子女的个数。

print(max(text['兄弟姐妹个数'] + text['父母子女个数']))

使用Pandas describe()函数查看数据基本统计信息

frame2= pd.DataFrame([[1.4, np.nan],

                                       [7.1, -4.5],

                                       [np.nan, np.nan],

                                       [0.75, -1.3]

                                       ],index=['a','b','c','d'],columns=['one','two'])

print(frame2)

print(frame2.describe())

查看泰坦尼克号数据集中票价、父母子女的基本统计数据

print(text['票价'].describe())

共有891个数据，平均值约为：32.20， 标准差约为49.69，说明票价波动特别大。

25%的人的票价是低于7.91的，50%的人的票价低于14.45，75%的人的票价低于31.00。

最大值约为512.33，最小值为0。

print(text['父母子女个数'].describe())

共有891个数据，平均值约为：0.38， 标准差约为0.8。

最大值为6，最小值为0。

---

DataWhale开源学习资料：

https://github.com/datawhalechina/hands-on-data-analysis