通过对实际数据的探索,掌握python常用的数据分析操作
本次课程使用的数据来源于Kaggle:
数据集下载 https://www.kaggle.com/c/titanic/overview
import pandas as pd
import numpy as np
#本人使用Anaconda集成的python开发环境,不需要再安装相应包,如果需要安装可以使用 pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple 安装pandas 将自动安装numpy
train_df=pd.read_csv("train.csv")
train_df.head(5)
我使用安装Anaconda的服务器进行操作,所以我并不知道上传的数据文件的真是路径需要使用一些命令来查看当前目录
使用os包
import os
os.getcwd()
使用ipython的魔术方法
!pwd
上述两种方法都可以使用,但是os.getcwd()可直接用于参数传递,所以我选择方法1
train_df=pd.read_csv(os.getcwd()+'/train.csv')
train_df.head(5)
知道数据加载的方法后,试试pd.read_csv()和pd.read_table()的不同,如果想让他们效果一样,需要怎么做?了解一下’.tsv’和’.csv’的不同,如何加载这两个数据集?
read_csv和read_table区别在于默认分隔符的不同,read_table的默认分隔符为"\t",可通过sep参数调整
TSV与CSV的区别:
1)从名称上即可知道,TSV是用制表符(Tab,’\t’)作为字段值的分隔符;CSV是用半角逗号(’,’)作为字段值的分隔符;
2)IANA规定的标准TSV格式,字段值之中是不允许出现制表符的。
df_chunk=pd.read_csv("train.csv",chunksize=1000)
DataFrame 对于大数据的读取、操作需要消耗大量的内存、IO,分块读取可以减少资源消耗,提高效率
#方法1
train_df=pd.read_csv("train.csv",names=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口'],index_col="乘客ID")
#方法2
df1=pd.read_csv('train.csv')
df1.rename(columns={'Survived':'是否幸存', 'Pclass':'仓位等级', 'name':'姓名'}, inplace = True)#另一种修改列名的方法,可以修改部分或者全部
df1.head()
#方法3
df2=pd.read_csv('train.csv')
df2.columns=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']
#该方法的新列名必须要与原列名一一对应
df2.head()
导入数据后,你可能要对数据的整体结构和样例进行概览,比如说,数据大小、有多少列,各列都是什么格式的,是否包含null等
train_df.info()
'''
Index: 892 entries, PassengerId to 891
Data columns (total 11 columns):
是否幸存 892 non-null object
乘客等级(1/2/3等舱位) 892 non-null object
乘客姓名 892 non-null object
性别 892 non-null object
年龄 715 non-null object
堂兄弟/妹个数 892 non-null object
父母与小孩个数 892 non-null object
船票信息 892 non-null object
票价 892 non-null object
客舱 205 non-null object
登船港口 890 non-null object
dtypes: object(11)
memory usage: 83.6+ KB
'''
train_df.head(10)
train_df.iloc[:10,:]
train_df.tail(15)
train_df.iloc[-15:,:]
train_df.isnull()
将你加载并做出改变的数据,在工作目录下保存为一个新文件train_chinese.csv
train_df.to_csv("train_chinese.csv",sep=',',encoding='utf-8')
#写入代码
Se1=pd.Series({'a':1,'b':2,'c':3})
Se1#Series
df_1=pd.DataFrame({'a':[1,2],'b':[3,4],'c':[5,6]})
df_1#DataFrame
df=pd.read_csv("train.csv")
df.columns
'''
Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp',
'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],
dtype='object')
'''
df['Cabin'].head(3)
df.Cabin.head(3)
df.loc[:,"Cabin"].head(3)
df.iloc[:,10].head(3)
df.ix[:,"Cabin"].head(3)
test_1=pd.read_csv("test_1.csv")
test_1.head()
df.drop(['PassengerId','Name','Age','Ticket'],axis=1)
#设置inplace=True,则永久删除上述几列
对比任务五和任务六,是不是使用了不一样的方法(函数),如果使用一样的函数如何完成上面的不同的要求呢?
可以使用索引的方式实现drop功能
df.loc[:,['Survived','Pclass','Sex','SibSp','Parch','Fare','Cabin','Embarked']]
df[df['age']<10]
midage=df[(df['age']>10)&(df['age']<50)]
midage.reset_index(drop = True)#重新设置索引因为切片可能会造成索引缺失
midage.loc[100,['Pclass','Sex']]
midage.loc[[100],['Pclass','Sex']]
#两种显示效果不一样
midage.loc[[100,105,108],['Pclass','Name','Sex']]
midage.iloc[[100,105,108],[2,3,4]]
import numpy as np
import pandas as pd
df1=pd.read_csv("train_chinese.csv")
#生成示例数据
a=pd.DataFrame(np.arange(8).reshape(2,4),index=[2,1],columns=['d','c','b','a'])
#构建的DataFrame中的数据根据某一列,升序排列
a.sort_value(by='a',ascending=True)
#让行索引升序排序
a.sort_index()
#让列索引升序排序
a.sort_index(axis=1)
#让列索引降序排序
a.sort_index(axis=1,ascending=False)
#让任选两列数据同时降序排序
a.sort_values(by=['a', 'c'])
df1.sort_values(by=['票价','年龄'],ascending=False).head(20)
排序后,如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好,所以我们会明显看出,票价前20的乘客中存活的有14人,这是相当高的一个比例,那么我们后面是不是可以进一步分析一下票价和存活之间的关系,年龄和存活之间的关系呢?当你开始发现数据之间的关系了,数据分析就开始了。
df1['年龄']=df1['年龄'].map(lambda x: float(x))
df1.sort_values(by='年龄',ascending=True).head(20)
df1.sort_values(by='年龄',ascending=False).head(20)
df1['票价']=df1['票价'].map(lambda x: float(x))
df1.sort_values(by='票价',ascending=False)
#写下你的思考
#数据中年龄排序出现按9>80>8>74…的情况,因为“年龄”列的数据目前的类型为字符串类型,需要手动转化为float类型
#年龄越小存活概率越高,年龄越大存活概率越低
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
columns=['a', 'b', 'c'],
index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
columns=['a', 'e', 'c'],
index=['first', 'one', 'two', 'second'])
#加
frame1_a + frame1_b
#减
frame1_a - frame1_b
#乘
frame1_a * frame1_b
#除
frame1_a / frame1_b
frame1_a.div(frame1_b)
#代码
def jiatingrenshu(x,y):
return int(x)+int(y)
df1['家族人数']=df1.apply(lambda x:jiatingrenshu(x['堂兄弟/妹个数'],x['父母与小孩个数']),axis=1)
max(df1['家族人数'])
frame2 = pd.DataFrame([[1.4, np.nan],
[7.1, -4.5],
[np.nan, np.nan],
[0.75, -1.3]
], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2.describe()
"""
one two
count 3.000000 2.000000
mean 3.083333 -2.900000
std 3.493685 2.262742
min 0.750000 -4.500000
25% 1.075000 -3.700000
50% 1.400000 -2.900000
75% 4.250000 -2.100000
max 7.100000 -1.300000
"""
df1['票价'].describe()
'''
count 891.000000
mean 32.204208
std 49.693429
min 0.000000
25% 7.910400
50% 14.454200
75% 31.000000
max 512.329200
Name: 票价, dtype: float64
'''
#最贵的票价高达512
#有人使用免费票
#75%的人购买的票价小于总体样本的均值
对于导入的数据一定要注意其数据类型,因类型的限制可能很多统计指标无法实现