一、导入数据集
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from pandas import Data Frame
from pandas import Series
%matplotlib inline
df = pd.read_csv('titanic_data.csv', index_col=0)
df.head(5)
以下为Data Dictionary
PassengerId:乘客的ID
Survived:乘客是否获救,Key:0=没获救,1=已获救
Pclass:乘客船舱等级(1/2/3三个等级舱位)
Name:乘客姓名
Sex:性别
Age:年龄
SibSp:乘客在船上的兄弟姐妹/配偶数量
Parch:乘客在船上的父母/孩子数量
Ticket:船票号
Fare:船票价
Cabin:客舱号码
Embarked:登船的港口
变量类型说明
数值变量:Age、SibSp、Parch、Fare
分类变量:Pcalss, Sex, Cabin, 和Embarked
二、提出问题和猜想
影响乘客生还率的因素可能有哪些
猜测因素包括:
年龄
性别
客舱等级
票价
家人数 (因从电影了解到,妇女儿童获救概率高,且一等舱因为靠近最高层获救可能性更高。)
三、数据预处理
数据预处理包括:
1、查看缺失值,并对缺失值删除或填充
2、删除不需要的数据
3、对数据进行分组或合并
查看CSV中各列的缺失值
df
从以上所列数据可知:总共891个乘客,其中有缺失值部分的是:Age中只有714个,Cabin中只有204,而Embarked是889
填充Age中的缺失值
df['Age'].fillna(df['Age'].median(), inplace=True)
乘客名字、船票、客舱号码和登船的港口,与生存率关系不大,可直接删除。
df.drop(['Cabin', 'Embarked', 'Name', 'Ticket'], axis=1, inplace=True)
df.head(5)
根据分析目的,猜测家人数与被获救可能有关,因此将SibSP与Parch两组合并成一组亲属
df['rel'] = df['SibSp'] + df['Parch']
df.head(6)
df.describe()
从以上数据结果可看出,平均的生还率是0.38,乘客平均年龄是29.69岁,最小的乘客4个月,最大的乘客年龄80岁。年龄的中位数是28岁。
四、数据分析
通过描述性分析和数据可视化分析结果,探索乘客生还的因素
单变量探索,查看船上乘客和票价的整体分布情况
%matplotlib inline
import matplotlib.pyplot as plt
fig,ax = plt.subplots(nrows=1,ncols=2,figsize=(15,5))
df["Age"].hist(ax=ax[0])
ax[0].set_title("Hist plot of Age")
df["Fare"].hist(ax=ax[1])
ax[1].set_title("Hist plot of Fare")
乘客的年龄集中在20-40岁之间,大部分乘客的票价很低,基本在0-100之间。
单变量探索,查看船上性别的整体分布情况
Sex_count = df.Sex.value_counts()
print Sex_count
Sex_count.plot(kind='pie',autopct = '%3.1f%%');
船上绝大多数为女性,不到两倍。
探索性别、船舱等级和生还率的关系
variable_visulization('Pclass')
乘客中,三等舱的乘客最多,一等舱和二登舱乘客相差不多。大部分乘客未获救,同时,船舱等级越高,生还率越大。一等舱的获救比例是最高的,三等舱人数最多,但生还率最低。
variable_visulization('Sex')
以上图结果可知,大部分人是没有被获救的,且获救的乘客中,女性远远大于男性,大概有三倍之多。
接下来探索,不同船舱等级、性别与生还率的关系
从图中可以看出,不管是在什么等级的船舱,女性的生还率都是高于男性的。但无论男女,船舱等级越高,生还率越高。
探索生还的乘客年龄
创建新的一列,储存乘客的年龄范围
bins = np.arange(0, 80, 10)
df['Age_group'] = pd.cut(df['Age'], bins)
将"Age_group"分组,并计算各年龄段的生还率
survival_count_by_age_bracket = df.groupby(['Age_group'])['Survived'].count()
survival_rate_by_age_bracket = df.groupby(['Age_group'])['Survived'].mean()
print survival_rate_by_age_bracket
print survival_count_by_age_bracket
figure = plt.figure(figsize=(13,8))
plt.hist([df[df['Survived']==0]['Age']], stacked=True, color = ['g'], bins =30,label = ['Survived'])
plt.xlabel('Age')
plt.ylabel('Number of passengers')
plt.legend()
plt.title("Age of plot")
从数据中可知,0-10岁的生还率是最高的,而图中可知,大部分的被获救的乘客介于0-30岁之间。
从图中可知,票价低的乘客罹难可能性更高。
探索携带了亲属的乘客,与生还率的关系
rel_count = df.rel.value_counts()
print rel_count
survival_rate_by_sibsp_parch = df.groupby('rel')['Survived'].mean()
print survival_rate_by_sibsp_parch
survival_rate_by_sibsp_parch.plot(kind='bar')
plt.title('Survival by rel', fontsize=16)
plt.xlabel('rel')
plt.ylabel('Survial Rate')
plt.ylim(0, 1)
虽然从图中可知,亲属越多,生还的可能性越大。
探索年龄、票价和生还率的关系
plt.figure(figsize=(13,8))
ax = plt.subplot()
ax.scatter(df[df['Survived']==1]['Age'],df[df['Survived']==1]['Fare'],c='green',s=40)
ax.scatter(df[df['Survived']==0]['Age'],df[df['Survived']==0]['Fare'],c='red',s=40)
ax.set_xlabel('Age')
ax.set_ylabel('Fare')
ax.legend(('survived','dead'),scatterpoints=1,loc='upper right',fontsize=15,)
罹难乘客的年龄集中在15-50岁之间的低票价乘客
总结
通过数据可视化结果,对初期提出的猜测做出以下结论:
1、女性生还率远远高于男性,大约是3倍左右。
2、0-10岁的幼儿生还率远远大于成年人,15-50岁的低票价乘客罹难最多。
3、票价越高,生还率越高。客舱等级越高,生还率越高。
4、亲属越多,生还的可能性越大。
说明:通过使用python对泰坦尼克号的生还数据进行分析,初步得出了一些结论,但这些结论仅通过可视化和描述性统计得出,缺乏进一步深入的分析,结论的可靠性有待验证。 另外,由于数据中有缺失值,对分析造成了负面影响。