[数据挖掘实战系列] Kaggle之泰坦尼克号灾难（上）

（一）步骤流程：

#（一） 目标确定：根据已有数据预测未知旅客生死

# （二）数据准备：1 数据获取，载入训练集csv，测试集csv
# （三）数据清洗：补齐或抛弃缺失值，数据类型变化（字符串转数字）
# （四）数据重构：根据需要重新构造数据（重组数据，构建新特性）

#（五）数据分析：
      1 描述性分析，画图，直观分析
      2  探索性分析， 机器学习模型

# （六）成果输出：csv文件上传得到正确率和排名

学习数据挖掘（分析）的步骤差不多就这些，这是对于第二次练习数据挖掘项目的体会，难道不就是这些吗，当然除了加上你的思维判断。

（二）数据准备

（1）下载数据源

在kaggle上下载数据包：https://www.kaggle.com/c/titanic

image.png

把上面这三个csv文件都下载下来。

（2）查看数据信息

1）测试集数据

# 1 载入库
import numpy as np 
import matplotlib.pyplot as plt 
import pandas as pd 

# 数据获取
train = pd.read_csv("train.csv")
test = pd.read_csv("test.csv")

# 显示头几行数据  # head()方法查看头部几行信息，如果打train则返回所有数据列表
train.head()

image.png

这里的头信息是英文的，我来解释一番：

PassengerId: 乘客ID
Survived: 是否生存，0代表遇难，1代表还活着
Pclass:  船舱等级：1Upper，2Middle，3Lower
Name: 姓名
Sex:  性别
Age: 年龄
SibSp: 兄弟姐妹及配偶个数
Parch:父母或子女个数
Ticket: 乘客的船票号
Fare: 乘客的船票价
Cabin: 乘客所在的仓位（位置）
Embarked:乘客登船口岸

image.png

2）数据概览

# 2 数据概览
#  2.0 查看数据的行数，列数
train.shape,test.shape

# 下图的（（891,12）） 代表train的条数有891条，12是代表有12个column（栏目）

image.png

# 2.1 查看数据的具体字段
train.info()

image.png

test.info() 

image.png

`

（三）数据清洗

对缺失过多，无关值进行丢弃：

（1）保留部分数据栏目内容

# trains表对比上面，扔掉了Name，Ticket Cabin，Embarked
train2 = train.loc[:,['PassengerId','Survived','Pclass','Sex','Age','SibSp','Parch','Fare']]
# test2表对比上面，扔掉了Name，Ticket，Cabin，Embarked
test2 = test.loc[:,['PassengerId','Pclass','Sex','Age','SibSp','Parch','Fare']]
#  .loc[:,:] 中括号里面逗号前面的表示行，逗号后面的表示列，这里的两个训练集代表，行都要，列只要选出来的列的内容

# 3.1 我们看一下trains2 跟test2的头信息
train2.head()

image.png

image.png

（2） 再看一下数据表信息

image.png

• 很明显这里的数据栏目就少了。

（3）train2 的年龄空值填充

• 年龄空值填充三部曲：1 取值（中位数）2 查找null的值 3 用中位数进行替换掉

# 3.3.1这里我们取一下age 的中位数
age_median = train2['Age'].median() # 中位数
age_median

# 3.3.1将train2的空值使用bool值来查看（这里只是查看，False代表有值）
train2['Age'].isnull()

# 3.3.1 将train2 age的空值使用中位数代替
train2.loc[train2['Age'].isnull(),'Age'] = age_median 
train2.info()

image.png

image.png

（4）train2 Fare船票价格填充

# 3.3.2 test数据集 获取众数 填充船票价格 Fare

fare = test2['Fare'].mode()
fare

test2.loc[test2['Fare'].isnull(),'Fare'] = fare[0]

train2.info(),test2.info()

image.png

（5）将男女性别用int类型0,1进行代表

# 这里我们可以看到Sex的数据类型为object，男性or 女性，这里我们将性别转成int类型

train2['Sex']=train2['Sex'].map({'female':0,'male':1}).astype(int)
test2['Sex']=test2['Sex'].map({'female':0,'male':1}).astype(int)

# 查看一下train2的头信息
train2.head(),test2.head()

image.png

（四）数据重组

这里我们根据SibSp Parch构建家庭人口总数，是否单身

# 4.0 数据重构 根据SibSp Parch 构建两个新特征 
# 新特征：家庭人口总数familysize，是否单身 isalone

# 4.1 家庭人口总数familysize
# 兄弟个数
train2.loc[:,'SibSp'] # 兄弟个数
train2.loc[:,'Parch'] # 父母子女个数

# 这里的逻辑不够严谨
train2['familysize']=train2.loc[:,'SibSp']+ train2.loc[:,'Parch']+1
test2['familysize']= test2.loc[:,'SibSp']+test2.loc[:,'Parch']+1

train2.info()
train2.head()

image.png

1. 对单身数据稍微调整

# 是否单身 ,默认不是单身
train2['isalone'] = 0
train2.loc[train2['familysize']==1,'isalone'] =1
train2.head()

# test2['isalone'] = 0
# test2.loc[test2['familysize']==1,'isalone'] =1
# test.head()

image.png

2）数据重组后的最终数据

# 5.0 数据重构后的最终数据
# train3 = train2.loc[:,['PassengerId','Survived','Pclass','Sex','Age','Fare','familysize','isalone']]
# train3.head()

test3 = test2.loc[:,['PassengerId','Pclass','Sex','Age','Fare','familysize','isalone']]
test3.head()

image.png

到这里为止，我们将数据处理，数据重组，重构新数据表已经弄好了，接下来，我们使用可视化进行数据分析。

更多Python学习交流群，请查看个人主页：https://blog.csdn.net/xudailong_blog