[kaggle竞赛实践] Titanic幸存预测问题--logistic回归解决方案
题目如下，给定Titanic上乘客的资料，预测他们幸免于难的概率，训练集合如下，测试集合类似，只不过Survived与否需要自己预测
这个只是个题目，可以用之前学到的机器学习算法练练手，我主要采用了Andrew Ng将的logistic回归的资料和方法，数据处理则是用pandas做的
主要步骤
1 数据整理，数据清理和转换 python pandas和numpy完成
2 logistic回归分析，预测 Octave完成
具体代码如下
1 数据整理
# -*- coding: utf-8 -*-
import csv as csv
import numpy as np
import pandas as pd
def trainDataPrd():
df=pd.read_csv('train.csv')
#判断字段的空值状况,自动化
df.isnull().sum() #通过判断为空的数量，来判断为空的数目，其中False=0，True=1嘛
#整理性别字段
df['Gender']=df['Sex'].map({'male':0,'female':1}).astype(int)
#填充空值字段，按照gender，class进行groupby聚类然后填充这个分组的平均值
ageArr=np.zeros((2,3))
for i in range(2):
for j in range(3):
ageArr[i,j]=df[ (df['Gender']==i) & (df['Pclass']==j+1) ]['Age'].dropna().mean()
# 自我赋值df[ (df['Gender']==i) & (df['Pclass']==j+1) ]=df[ (df['Gender']==i) & (df['Pclass']==j+1) ].fillna(ageArr[i,j])
df.loc[(df['Gender']==i) & (df['Pclass']==j+1), 'Age']=ageArr[i,j]
#整理亲戚字段
df['Relative']=(df['SibSp']+df['Parch']).astype(int)
#清理字段,务必自己赋值，否则无效
df=df.drop(['Name','Ticket','Cabin','Embarked','SibSp','Parch'],axis=1)
#输出训练样本
of=df[['Pclass','Age','Fare','Gender','Relative','Survived']]
of.to_csv('pytrain.csv',index=False,header=['Pclass','Age','Fare','Gender','Relative','Survived'])
def testDataPrd():
df=pd.read_csv('test.csv')
#判断字段的空值状况,自动化
df.isnull().sum() #通过判断为空的数量，来判断为空的数目，其中False=0，True=1嘛
#整理性别字段
df['Gender']=df['Sex'].map({'male':0,'female':1}).astype(int)
#填充空值字段，按照gender，class进行groupby聚类然后填充这个分组的平均值
ageArr=np.zeros((2,3))
for i in range(2):
for j in range(3):
ageArr[i,j]=df[ (df['Gender']==i) & (df['Pclass']==j+1) ]['Age'].dropna().mean()
# 自我赋值df[ (df['Gender']==i) & (df['Pclass']==j+1) ]=df[ (df['Gender']==i) & (df['Pclass']==j+1) ].fillna(ageArr[i,j])
df.loc[(df['Gender']==i) & (df['Pclass']==j+1), 'Age']=ageArr[i,j]
#整理亲戚字段
df['Relative']=(df['SibSp']+df['Parch']).astype(int)
df['Fare']=df['Fare'].fillna(8.0)
#清理字段,务必自己赋值，否则无效
df=df.drop(['Name','Ticket','Cabin','Embarked','SibSp','Parch'],axis=1)
#输出训练样本
of=df[['Pclass','Age','Fare','Gender','Relative']]
of.to_csv('pytest.csv',index=False,header=['Pclass','Age','Fare','Gender','Relative'])
这个步骤将生成训练用和测试用的数据，以csv形式保存，然后改成txt形式传给Octave做数据源。
2 用Octave完成logistic回归分类和预测
% logistic回归方法
%% Initialization
clear ; close all; clc
% 加载训练数据
data = load('pytrain.txt');
cols=size(data,2)
X = data(:, 2:cols-1); y = data(:, cols);
fprintf('\nProgram paused. Press enter to continue.\n');
pause;
%% ============ Part 2: Compute Cost and Gradient ============
[m, n] = size(X);
%扩充常数维度，增加一维
X = [ones(m, 1) X];
% Initialize fitting parameters
initial_theta = zeros(n + 1, 1);
% Compute and display initial cost and gradient
[cost, grad] = costFunction(initial_theta, X, y);
fprintf('Cost at initial theta (zeros): %f\n', cost);
fprintf('Gradient at initial theta (zeros): \n');
fprintf(' %f \n', grad);
fprintf('\nProgram paused. Press enter to continue.\n');
pause;
%% ============= Part 3: Optimizing using fminunc =============
% 使用了自带的优化函数fminunc，而不是自己确定learning rate计算的那种
% 主要怕自己算的太烂了。
% Set options for fminunc
options = optimset('GradObj', 'on', 'MaxIter', 400);
% Run fminunc to obtain the optimal theta
% This function will return theta and the cost
[theta, cost] = ...
fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);
% Print theta to screen
fprintf('Cost at theta found by fminunc: %f\n', cost);
fprintf('theta: \n');
fprintf(' %f \n', theta);
%pause;
%% ============== Part 4: Predict and Accuracies ==============
% 计算预测的精度
p = predict(theta, X);
fprintf('Train Accuracy: %f\n', mean(double(p == y)) * 100);
fprintf('\nProgram paused. Press enter to continue.\n');
pause;
%预测未知数据
data = load('pytest.txt');
Xtest=data;
[m, n] = size(X);
Xtest = [ones(m, 1) X];
Xtest = data(:, 1:cols);
p = predict(theta, Xtest);
save 'predict.txt' p;
计算的结果正确了在70-75之间，可能是我留的维度比较少，或者是logistic回归实现的不好。
导致还不如教程给的根据性别计算的单变量分类方法正确率高。。。