组队学习之Task1：数据加载及探索性数据分析

第一章：数据载入及初步观察

1.1 载入数据

数据集下载

https://www.kaggle.com/c/titanic/overview

1.1.1 导入numpy和pandas

import numpy as np
import pandas as pd

1.1.2 载入数据

(1) 使用相对路径载入数据

Train_data=pd.read_csv('train.csv')
Train_data.head(5) # 显然读入数据的前5行

（2使用绝对路径载入数据

Train_data=pd.read_csv('E:/jupyter notebook workstation/DataWhale DA/hands-on-data-analysis-master/第一单元项目集合/train.csv')
#这里要注意的是复制文件路径的时候，\要换成/
Train_data.head(5)

【提示】相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。

思考pd.read_csv()和pd.read_table()的不同

先给个结论：read_csv(),默认的切割符是‘,’ 而read_table()则是’\t’切割数据
具体的来看这个例子

pd.read_csv('train.csv').head(3)

 pd.read_table('train.csv').head(3) #pd.read_table,默认以'\t'切割数据，这样的话就没法切割以逗号为分割的列名

看出来差别了吧，因为列名的表头全是逗号分隔，所以用read_table()读取数据，没有办法进行分割

现在想read_table()和read_csv()效果一样怎么操作？

 # 要pd.read_csv()和pd.read_table()的效果相同，只需要把sep参数更改
pd.read_table('train.csv',sep=',').head(3)

1.1.3 每1000行为一个数据模块，逐块读取

pd.read_csv('train.csv',chunksize=1000)

为什么要逐块读取呢？
使用pandas来处理文件的时候，经常会遇到大文件，而有时候我们只想要读取其中的一部分数据或对文件进行逐块处理

1.1.4 将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

Train_data = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
Train_data.head()
# 使用names可重命名表名称

1.2 初步观察

观察数据大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 查看数据的基本信息

（1）info()

 Train_data.info() #可查看列名，和列名的数据，以及数据类型

(2)describe() 可观察数据常见的统计量

Train_data.describe() # 可以查看一些常见的统计量，例如最小，最大值，方差等

1.2.2 观察表格前10行的数据和后15行的数据

（1）观察前10行

Train_data.head(10)

(2)观察后15行

Train_data.tail(15)

注：其实可以将两个首尾数据拼接起来

Train_data.head(10).append(Train_data.tail(15)) #将表的前10行和后15行拼接起来

这里就不贴图了，太长了，哭唧唧

1.2.4 判断数据是否为空，为空的地方返回True，其余地方返回False

Train_data.isnull()
#Train_data.isnull().sum 对上面的数据进行统计

1.3 保存数据

这里自己把文件以csv格式保存了在自己的工作目录

Train_data.to_csv('train_chinese.csv')

注：还可以写入to_table等多种格式，大家可以试试

1.4 知道你的数据叫什么

我们学习pandas的基础操作，那么上一节通过pandas加载之后的数据，其数据类型是什么呢？

1.4.1 pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。

Series类型：

data = {'张三': 20, '李四': 19, '王五': 16000}
example_1 = pd.Series(data)
example_1

DataFrame类型：

data1 = {'国家': ['China', 'Janpan', 'AM'],
        'year': [2000, 2001, 2002],'人口': [1.5, 1.7, 3.6]}
example_2 = pd.DataFrame(data1)
example_2

1.4.2 载入之前的"train.csv"文件

Train_data=pd.read_csv('train.csv')

1.4.3 查看DataFrame数据的每列的项

Train_data.columns

1.4.4查看"cabin"这列的所有项

Train_data['Cabin']

注：还可以Train_data.Cabin

1.4.5 加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

Test_data=pd.read_csv('test_1.csv')
df=pd.read_csv('test_1.csv')
Test_data # 经对比查看多了'a'这一列
del Test_data['a'] # 删除'a'这一列
Test_data

1.4.6 [‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏，只观察其他几个列元素

df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(4)  # axis=1
#使用drop并没有改变原数据，即df是没有变的

注：
——del直接可以删除原数据
——drop,如果想要完全的删除你的数据结构，使用inplace=True，因为使用inplace就将原数据覆盖了，所以这里没有用

1.5 筛选的逻辑

1.5.1 我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df['Age']<10].head(5)

1.5.2 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage=df[(df['Age']>10)&(df['Age']<50)]
midage

1.5.3 将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

数据索引要用到iloc，loc。注意的是iloc必须是整数索引

midage.loc[[100],['Pclass','Sex']]

如果我使用iloc

 midage.iloc[[100],['Pclass','Sex']]

【思考】这个reset_index()函数的作用是什么？
——函数重建索引，新建index这一列

midage.reset_index().head(3) # reset_index()函数重建索引，新建index这一列

1.5.4 将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.loc[[100,105,108],['Pclass','Name','Sex']]

1.5.5 使用iloc方法将midage的数据中第100,105,108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.head()
# midage.iloc[[100,105,108],['Pclass','Name','Sex']] #iloc必须使用整数索引
midage.iloc[[100,105,108],[3,4,5]] #获取到midage数据，"Pclass"，"Name"和"Sex"是第3，4，5列

1.6 了解你的数据吗？

教材《Python for Data Analysis》第五章

1.6.1 利用Pandas对示例数据进行排序，要求升序

(1)先构造数据

obj=pd.DataFrame(np.arange(8).reshape(2,4),index=[2,1],columns=['d', 'a', 'b', 'c'])
obj

【问题】：大多数时候我们都是想根据列的值来排序,所以将你构建的DataFrame中的数据根据某一列，升序排列

obj.sort_values(by='d') #默认升序排列，by='d'对d列的值升序排列

【总结】下面将不同的排序方式做一个总结

1.让行索引升序排序

2.让列索引升序排序

3.让列索引降序排序 （将ascending参数设置为False）

4.让任选两列数据同时降序排序

obj.sort_values(by=['a','b'],ascending=False)

1.6.2 对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列），从这个数据中你可以分析出什么？

(1) 按票价和年龄两列进行综合排序（降序排列）

Train_Chinese.sort_values(by=['票价','年龄'],ascending=False).head(10)

【思考】排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？

多做几个数据的排序

对仓位等级和票价做排序

Train_Chinese.sort_values(by=['仓位等级','票价'],ascending=False).head(15)

可以看到仓位等级数字越高，价格越高，反而幸存的更少？

1.6.3 利用Pandas进行算术计算，计算两个DataFrame数据相加结果

frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])

将frame_a和frame_b进行相加

frame1_a+frame1_b

注：两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。

1.6.4 通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

# 分别把列名为‘兄弟姐妹个数’和‘父母子女个数’相加
max(Train_Chinese['兄弟姐妹个数']+Train_Chinese['父母子女个数'])

1.6.5 学会使用Pandas describe()函数查看数据基本统计信息#自己构建一个有数字有空值的DataFrame数据

text=pd.DataFrame(np.arange(12).reshape((3,4)),columns=['a','b,','c','d'])
text.loc[[0],['a']]=np.nan
text

1.6.6 分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据，你能发现什么？

Train_Chinese['票价'].describe()
#std：标准差

【思考】从上面数据我们可以看出 一共有891个票价数据， 平均值mean约为：32.20， 标准差std约为49.69，说明票价波动特别大 25%的人的票价是低于7.91的，50%的人的票价低于14.45，75%的人的票价低于31.00， 票价最大值约为512.33，最小值为0。

查看年龄的统计信息

Train_Chinese['年龄'].describe()

【思考】年龄的总和：714 平均值约为29.6 有75%的年纪是38岁，说明大部分是中年人

【总结】本节中我们通过Pandas的一些内置函数对数据进行了初步统计查看，这个过程最重要的不是大家得掌握这些函数，而是看懂从这些函数出来的数据，构建自己的数据分析思维，这也是第一章最重要的点，希望大家学完第一章能对数据有个基本认识，了解自己在做什么，为什么这么做，后面的章节我们将开始对数据进行清洗，进一步分析。