Datawhale~Hands-on data analysis~数据基本操作

前言： 第一次接触数据分析这方面的知识，但是自己又耐不住闲，于是跟着datawhale学下数据分析，如果有任何错误还请大家不吝赐教。

Data Analysis

载入数据

学习过程中将会使用kaggle上面泰坦尼克号的任务，数据集：https://www.kaggle.com/c/titanic/overview

1.导入numpy和pandas。

import numpy as np
import pandas as pd

2. 载入数据

• 使用相对路径载入数据

df = pd.read_csv('train.csv')
df.head(3)

• 使用绝对路径载入数据

df = pd.read_csv('C:/Users/user/Desktop/Forme/titanic/train.csv')
df.head(3)

相对路径报错后，可使用os.getcwd()查看当前的工作目录
'.tsv’和‘.csv’的区别：
1.tsv是从制表符作为分隔符的字段符，csv使用逗号作为分隔符的字段符。
2.IANA规定的标准TSV格式，字段值之中是不允许出现制表符的。
详情区别参照博文：https://www.jianshu.com/p/6e1c3e9f5e42

3. 每1000行作为一个数据模块，逐块读取

chunker = pd.read_csv('train.csv', chunksize=1000)

思考：什么是逐块读取？为什么要逐块读取呢？

有chunksize参数可以进行逐块加载。它的本质就是将文本分成若干块，每次处理chunksize行的数据，最终返回一个TextParser对象，对该对象进行迭代遍历，可以完成逐块统计的合并处理。

4. 将表头改为中文，索引改为乘客ID

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

数据观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

1. 查看数据的基本信息

df.info()

2. 观察表格前10行的数据和后15行的数据

df.head(10)

df.tail(15)

3. 判断数据是否为null，为null的地方返回True，其他返回False
   

保存数据

1. 将加载并改变的数据，再目录下保存为一个新的文件。

了解数据

1. pandas中有两个数据类型DataFrame和Series
   简介DataFrame和Series：

Series相当于一个一维数组，Series显示时的一大好处就是会自动对齐
DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值。DataFrame既有行索引，也有列索引，它可以看作是由Series组成的字典，不过这些Series公用一个索引
Series和DataFrame的区别与联系：
series，只是一个一维数据结构，它由index和value组成。
dataframe，是一个二维结构，除了拥有index和value之外，还拥有column。
dataframe由多个series组成，无论是行还是列，单独拆分出来都是一个series。

【例子】：

• DataFrame：

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
        'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
example_2

• Series

sdata = {'ali': 35000, 'TX': 71000, 'baidu': 16000, 'mt': 5000}
example_2 = pd.Series(sdata)
example_2

2. 导入train_chinese.csv文件

df =pd.read_csv('train_chinese.csv')
df.head(3)

3. 查看DataFrame数据的每列的项

df.columns

4. 查看’客舱’这列所有项

df.客舱.head(3)
df['客舱'].head(3)

5. 加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除经过我们的观察发现一个测试集test_1.csv有一列是多余的，我们需要将这个多余的列删去

test_1=pd.read_csv('test_1.csv')
test_1.head(3)

del test_1['a']
test_1.head(3)

删除a列后：

【思考】还有其他的删除多余的列的方式吗？

方法一：直接del DF[‘column-name’]
方法二：采用drop方法，有下面三种等价的表达式：

1. DF= DF.drop(‘column_name’, 1)；
2. DF.drop(‘column_name’,axis=1, inplace=True)
3. DF.drop([DF.columns[[0,1, 3]]], axis=1,inplace=True) # Note: zero indexed

6. 将’PassengerId’,‘Name’,‘Age’,'Ticket’这几个列元素隐藏，只观察其他几个列元素
   因为我导入的是中文翻译过的信息，对应乘客id，名字，年龄，船票这几个元素

df.drop(['乘客ID','姓名','年龄','票价'],axis=1).head(3)

【思考】对比任务五和任务六，是不是使用了不一样的方法(函数)，如果使用一样的函数如何完成上面的不同的要求呢？

如果想要完全的删除你的数据结构，使用inplace=True，因为使用inplace就将原数据覆盖了，所以这里没有用

筛选逻辑

1. 以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df['年龄']<10].head(3)

2. 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage = df[(df["年龄"]>10)& (df["年龄"]<50)]
midage.head(3)

3. 将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage=midage.reset_index(drop=True)
midage.head(3)

4. 将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
   

5. 使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.iloc[[100,105,108],[2,3,4]]

探索性数据分析

1. 利用Pandas对示例数据进行排序，要求升序

frame = pd.DataFrame(np.arange(10).reshape((2, 5)), 
                     index=['1', '2'], 
                     columns=['a', 'b', 'c', 'd','e'])
frame

pd.DataFrame() ：创建一个DataFrame对象
np.arange(10).reshape((2, 5))：生成一个二位数组（2*5）第一列：0，1，2，3，，4。第二列：5，6，7，8，
index=[‘1’, ‘2’]：DataFrame对象的索引列
columns = ‘a’,‘b’,‘c’,‘d’,‘e’ ：DataFrame对象的索引行
【问题】：大多数时候我们都是想根据列的值来排序,所以将你构建的DataFrame中的数据根据某一列，升序排列

frame.sort_values(by='c', ascending=False)

sort_values这个函数中by参数指向要排列的列，ascending参数指向排序的方式

• 排序方式

1. 让行索引升序排序

frame.sort_index()

2. 让列索引升序排序

frame.sort_index(axis=1)

3. 让列索引降序排序

frame.sort_index(axis=1, ascending=False)

4. 让任选两列数据同时降序排序

frame.sort_values(by=['a', 'c'])

2. 对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列）

text.sort_values(by=['票价', '年龄'], ascending=False).head(3)

【思考】排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？当你开始发现数据之间的关系了，数据分析就开始了。

我的排序：（选用兄弟姐妹个数和父母子女个数降序）

text.sort_values(by=['兄弟姐妹个数','是否幸存'],ascending=False).head(50)

发现父母子女个数为0 的存活率最高。

3. 利用Pandas进行算术计算，计算两个DataFrame数据相加结果

frame1_1 = pd.DataFrame(np.arange(10.).reshape(2, 5),
                     columns=['a', 'b', 'c','d','e'],
                     index=['one', 'two'])
frame1_2 = pd.DataFrame(np.arange(8.).reshape(2, 4),
                     columns=['a', 'b', 'c','d'],
                     index=['one', 'two'])
frame1_1

frame1_2

将frame_a和frame_b进行相加

frame1_1 + frame1_2

两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。

4. 通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

max(df['兄弟姐妹个数']+df['父母子女个数'])
# 10

5. 学会使用Pandas describe()函数查看数据基本统计信息

#构建一个有数字有空值的DataFrame数据
frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['1', '2'])

#调用describe 函数
frame2.describe()

6. 分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据，你能发现什么？

# 查看数据集中票价这列数据基本信息
df['票价'].describe()

# 查看这列的基本信息
df['年龄'].describe()