-- coding: utf-8 --
"""
Created on Mon Oct 8 16:09:22 2018
项目 15 泰坦尼克号获救问题
共有1309名乘客数据，其中891是已知存活情况（train.csv）
剩下418则是需要进行分析预测的（test.csv）
Step：
1 构建预测模型
2 使用模型预测
@author: peng.jiang1
"""
"""
Note:
1 利用Seaborn如何绘制饼图？
2 绘制饼图时，需要保证长宽相等，需要一行代码 plt.axis('equal')
3 .format() 的格式化输出 在 {} 中设置 例如： {.2f}
4 在Series 和DataFrame矩阵运算中 使用numpy进行字符格式转换
5 当需要对分组统计后的某一字段中的值进行计数统计 可以分组后用value_counts()
6 当需要对子图中的单个图进行绘制时推荐子图add_subplot(111)的方式，如果每个子图
设置都一样，只是数据发生变化，推荐子图fig， axes = plt.subplots()
7 绘制图表 标签的旋转角度参数
8 Series的数据结构无法使用reset_index()，需要先转成DataFrame 数据格式，当DF还
无法使用reset_index() 可能字段重了 此时需要更改字段名 再调用reset_index(),
还有比较繁琐的方式是通过转字符串后再分隔进行切片得到相应的数据 不推荐
"""
模块导入
import os
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
from sklearn import neighbors
warnings.filterwarnings('ignore')
工作函数
def get_info(path):
'''
统计数据的基本信息：
1 数据量
2 数据的columns
3 数据中的缺失值数量
返回：读取后的DataFrame
'''
data = pd.read_excel(path, sheet_name=0, header=0)
print('数据量：%d'%len(data))
print('数据字段：', data.columns.tolist())
print('缺失值量：%d'%len(data[data.isnull().values == True]))
return data
def survive_count(data):
'''
统计存活率
'''
sur1 = len(data[data['Survived'] == 1])
sur0 = len(data[data['Survived'] == 0])
sur = pd.DataFrame([sur1, sur0], index=['sur1', 'sur0'], columns=['count'])
sur['per'] = sur['count'] / sur['count'].sum()
return sur
def pie_graph(data):
'''
绘制饼图, 数据格式是Series
'''
plt.axis('equal')
plt.pie(data, labels=data.index, colors=['red', 'blue'], autopct='%.2f%%',
startangle=0, radius=1, frame=False)
title = '总体存活比例'
plt.title(title)
plt.savefig(title + '.jpg', dpi=400)
def age_count(data):
'''
年龄数据的分布情况
'''
data = data.dropna()
age_des = data.describe()
print('总体年龄分布：去掉缺失值还有{0}个样本，平均年龄{1}岁，标准差{2}岁，
最小年龄{3}岁，最大年龄{4}岁'.format(len(data), age_des['mean'],
age_des['std'], age_des['min'], age_des['max']))
return age_des
def sex_count(data):
'''
男性和女性存活情况
'''
data = data.dropna()
sex_m = data[data['Sex'] == 'male']
sex_f = data[data['Sex'] == 'female']
# 调用函数 计算 存活率
data_sex_m = survive_count(sex_m)
data_sex_m['sex'] = 'm'
data_sex_f = survive_count(sex_f)
data_sex_f['sex'] = 'f'
result = pd.concat([data_sex_m, data_sex_f]) # 合并数据
return result
def year_count(data):
'''
统计老人和小孩存活情况，没有限制年纪，我们可以计算每个年龄的存活率，为了便于计算
我们将年纪整化，直接用.astype(np.int)
'''
# 数据清洗后再处理
data = data[data['Age'].notnull() == True]
data['Age'] = data['Age'].astype(np.int)
# 按年龄计算存活率
sur_per = data.groupby(by='Age')['Survived'].value_counts()
data = pd.DataFrame(sur_per)
data['count'] = data.index
data['count'] = data['count'].astype(np.str)
data['Age'] = data['count'].str.split(',').str[0].str[1:]
data['num'] = data['count'].str.split(',').str[1].str[:2]
# 筛选构建数据
data['Age']= data['Age'].astype(np.int)
data['num']= data['num'].astype(np.int)
d0 = data[data['num'] == 0]
d1 = data[data['num'] == 1]
# 构建年龄的存活率
result = pd.merge(d0, d1, on='Age', how='outer')
result = result[['Survived_x', 'Survived_y', 'Age']]
result.columns = ['Survived_0', 'Survived_1', 'Age']
result.fillna(0, inplace=True)
result.sort_values(by='Age', inplace=True, ascending=True)
result['sur_per'] = result['Survived_1'] / (result['Survived_1'] + result['Survived_0'])
return result
def age_graph(data):
'''
绘制年龄的分布图和箱型图
'''
fig = plt.figure(figsize=(14,5))
# 绘制柱状图
ax1 = fig.add_subplot(1,2,1)
data.plot(kind='hist', bins=90)
plt.grid(linestyle='--', color='gray', axis='both', alpha=0.5)
plt.xlim([0, 90])
plt.title('柱状图')
# 绘制箱型图
ax2 = fig.add_subplot(1,2,2)
data.plot(kind='box')
plt.grid(linestyle='--', color='gray', axis='both', alpha=0.5)
plt.ylim([0, 70])
plt.title('箱型图')
plt.savefig('年龄分布情况' + '.jpg', dpi=500)
def sex_graph(data):
'''
绘制性别存活比例
'''
fig = plt.figure(figsize=(8,4))
data = data.loc['sur1']
data.index = ['male', 'female']
data['per'].plot(kind='bar', color='red', alpha=0.5, title='男女存活率',
figsize=(8,4))
plt.xlabel('Sex')
plt.ylabel('sur_per')
for i, j in zip(range(2), data['per']):
plt.text(i, j+0.1, '%.3f'%j)
plt.savefig('男女存活率.jpg', dpi=400)
def year_graph(data):
'''
绘制各0-90岁的存活率
'''
data.index = data['Age']
fig = plt.figure(figsize=(16,4))
title = '0-90岁的存活率'
data['sur_per'].plot(kind='bar', color='g', alpha=0.6, title=title,
figsize=(16,4), width=1, edgecolor='white', rot=0)
plt.xlabel('Age')
plt.ylabel('存活率')
plt.savefig(title + '.jpg', dpi=600)
def sibsp_per(data, col):
'''
构建有无兄弟姐妹的存活率数据
'''
data_sibsp = data[data[col] != 0]
sur_sibsp = data['Survived'].value_counts()
sur_sibsp = pd.DataFrame(sur_sibsp)
sur_sibsp['per'] = sur_sibsp['Survived'] / sur_sibsp['Survived'].sum()
data_nosibsp = data[data[col] == 0]
sur_nosibsp = data_nosibsp['Survived'].value_counts()
sur_nosibsp = pd.DataFrame(sur_nosibsp)
sur_nosibsp['per'] = sur_nosibsp['Survived'] / sur_nosibsp['Survived'].sum()
return sur_sibsp, sur_nosibsp
def sibsp_per_graph(data, xlabel, title):
'''
绘制饼图
'''
data1 = data[0]
data2 = data[1]
data1 = data1['per']
data2 = data2['per']
fig = plt.figure(figsize=(10,5))
ax1 = fig.add_subplot(1,2,1)
plt.axis('equal')
plt.pie(data1, labels=['No Survived', 'Survived'], colors=['gray', 'blue'],
autopct='%.1f%%', startangle=0, radius=1, frame=False)
plt.xlabel(xlabel)
ax2 = fig.add_subplot(1,2,2)
plt.axis('equal')
plt.pie(data2, labels=['No Survived', 'Survived'], colors=['gray', 'blue'],
autopct='%.1f%%', startangle=0, radius=1, frame=False)
plt.xlabel('no' + xlabel)
plt.savefig(title + '.jpg', dpi=500)
def num_per(data):
'''
构建 亲戚的多少与存活的关系 的数据
'''
data3['num'] = data3['SibSp'] + data3['Parch']
data3_num = data3.groupby(by='num')['Survived'].value_counts()
data3_num.name = 'count'
data3_num = pd.DataFrame(data3_num)
data3_num.reset_index(inplace=True)
data3_num0 = data3_num[data3_num['Survived'] == 0]
data3_num1 = data3_num[data3_num['Survived'] == 1]
data3_num_per = pd.merge(data3_num0, data3_num1, how='outer',
on='num').fillna(0)
data3_num_per['per'] = data3_num_per['count_y'] / (data3_num_per['count_x']
+ data3_num_per['count_y'])
return data3_num_per
def num_per_graph(data):
'''
绘制柱状图
'''
fig = plt.figure(figsize=(8,4))
data['per'].plot(kind='bar', width=0.5, color='blue', alpha=0.7,
figsize=(8,4))
plt.xticks(data['num'].tolist())
plt.legend(True)
if name == "main":
path = r'C:\Users\pj2063150\Desktop\项目\项目15泰坦尼克号获救问题'
os.chdir(path)
# 查看数据信息
data_test = get_info('test.xlsx')
data_train = get_info('train.xlsx')
# 1 整体看存活比例
sur_per = survive_count(data_train) # 构建数据
pie_graph(sur_per['per'])
# 2 结合性别和年龄数据进行分析
# 构建数据
age_count(data_train['Age']) # 年龄数据的分布情况
data2 = data_train[['Sex', 'Survived']] # 构建性别存活数据
sur_sex_per = sex_count(data2) # 计算男女存活比例
sur_age_per = year_count(data_train) # 计算各年龄的存活率
# 绘制图表
age_graph(data_train[data_train['Age'].notnull() == True]['Age']) #年龄分布
sex_graph(sur_sex_per) # 男女存活率
year_graph(sur_age_per) # 0-90岁存活率
# 3 结合SibSp、Parch字段，研究亲人多少与存活的关系
data3 = data_train[['SibSp', 'Parch', 'Survived']] # 构建数据
# 有无兄弟姐妹
data3_sibsp = sibsp_per(data3, 'SibSp') # 构建数据
sibsp_per_graph(data3_sibsp, 'Sibsp', '有无兄弟姐妹存活比例') # 绘制图表
# 有无父母子女和存活与否的关系
data3_parch = sibsp_per(data3, 'Parch')
sibsp_per_graph(data3_parch, 'Parch', '有父母小孩妹存活比例') # 绘制图表
'''
# 亲戚的多少与存活的关系 (可细分兄弟姐妹数量 父母子女数量 和 总数量)
data3_num_per = num_per(data3) # 构建数据（总数量）
num_per_graph(data3_num_per[['num', 'per']]) # 绘制图表
'''
# 4 结合票的费用情况，研究票价和存活与否的关系
data4 = data_train[['Pclass', 'Fare', 'Survived']] # 构建数据
# 5 利用KNN分类模型，对结果进行预测
data_train['Family_num'] = data_train['SibSp'] + data_train['Parch']
data5_train = data_train[['Survived', 'Pclass', 'Sex', 'Age', 'Fare',
'Family_num']]
# 将性别定性字段更改为为定量字段
data5_train.dropna(inplace=True)
data5_train['Sex'].replace('male', 1, inplace=True)
data5_train['Sex'].replace('female', 0, inplace=True)
x = data5_train[['Pclass', 'Sex', 'Age', 'Fare', 'Family_num']]
y = data5_train['Survived']
# 构建模型
knn = neighbors.KNeighborsClassifier()
knn.fit(x, y)
# 构建预测数据进行预测
data5_test = data_test[['Pclass', 'Sex', 'Age', 'Fare', 'SibSp', 'Parch']]
data5_test.dropna(inplace=True)
data5_test['Sex'].replace('male', 1, inplace=True)
data5_test['Sex'].replace('female', 0, inplace=True)
data5_test['Family_num'] = data5_test['SibSp'] + data5_test['Parch']
data5_test['Survived'] = knn.predict(
data5_test[['Pclass', 'Sex', 'Age', 'Fare', 'Family_num']])
print('Finished!')