House Price 房价预测

此项目作为kaggle的入门项目，主要是利用回归分析的算法来预测房价，初次接触，目前以消化大神的项目代码帮助自己提升，如有疑问，可相互交流。

项目地址：https://www.kaggle.com/c/house-prices-advanced-regression-techniques
大神代码：https://www.kaggle.com/apapiu/regularized-linear-models
此项目可以使用notebook去完成，当然用你熟悉的工具也可。

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib

import matplotlib.pyplot as plt
from scipy.stats import skew
from scipy.stats.stats import pearsonr

%config InlineBackend.figure_format = 'retina' #set 'png' here when working on notebook
%matplotlib inline
# 利用pandas库的read_csv函数读取数据，生成DataFrame格式数据，列名默认csv数据的第一行
train = pd.read_csv("../input/train.csv")
test = pd.read_csv("../input/test.csv")
# head函数可以查看下数据，默认展示前5行
train.head()
# train.loc[:,'MSSubClass':'SaleCondition']表示获取从MSSubClass到SaleCondition的列特征数据，也就是去除无用的列特征id和预测值SalePrice列，从而构造模型训练数据。为了便于后续数据预处理，测试集和训练集利用concat函数先合并。
all_data = pd.concat((train.loc[:,'MSSubClass':'SaleCondition'],
                      test.loc[:,'MSSubClass':'SaleCondition']))
##############
# 下面开始数据预处理阶段
# 1、倾斜数值特征通过函数log(feature + 1) ,这样使得特征更加标准正规，有利于建立更加好模型。
# 2、建立类别特征的虚拟变量，这个怎么理解呢，分类特征取值大、中、小，那么把他们数值向量化区分，就可以用(1,0,0),(0,1,0),(0,0,1)去区分并代入模型计算。
# 3、对Nan值用平均数替代。
##############
## 先展示一下训练集的预测值SalePrice，通过log(x+1)函数转换呈现的图趋势和没转换呈现的图趋势，matplotlib.rcParams['figure.figsize']是设置图片的大小
matplotlib.rcParams['figure.figsize'] = (12.0, 6.0)
prices = pd.DataFrame({"price":train["SalePrice"], "log(price + 1)":np.log1p(train["SalePrice"])})
# DataFrame类型数据展示直方图
prices.hist()
## 数据预处理开始执行第一步了，发现没有，它是只对训练集执行了此操作
train["SalePrice"] = np.log1p(train["SalePrice"])
## 同样，一些数值倾斜特征也开始执行第一步操作
## 先过滤出来数值特征
numeric_feats = all_data.dtypes[all_data.dtypes != "object"].index
## 去除行全是NULL值的，并且列数据开始求其skew值，请自行百度skew的公式。
skewed_feats = train[numeric_feats].apply(lambda x: skew(x.dropna())) #compute skewness
## 筛选出skew值大于0.75的列数据，下面是一个Series数据类型，index是列名
skewed_feats = skewed_feats[skewed_feats > 0.75]
## 获取筛选出的列名
skewed_feats = skewed_feats.index
## 对筛选出来的执行第一步操作
all_data[skewed_feats] = np.log1p(all_data[skewed_feats])
## get_dummies将类别变量转换成新增的虚拟变量/指示变量，也就是执行第二步
all_data = pd.get_dummies(all_data)
## 平均值填充Null值
all_data = all_data.fillna(all_data.mean())


# 创建适合sklean的矩阵数据，也就是训练集和测试集以及对应的标签
X_train = all_data[:train.shape[0]]
X_test = all_data[train.shape[0]:]
y = train.SalePrice

# 下面进入模型选择阶段以及调参阶段，评估我们的模型好坏，用的是交叉验证中rmse error指标，从而更好的选择参数。
from sklearn.linear_model import Ridge, RidgeCV, ElasticNet, LassoCV, LassoLarsCV
from sklearn.model_selection import cross_val_score
# 模型Ridge
## 5倍交叉验证，注意回归模型选择scoring="neg_mean_squared_error"作为评估指标
def rmse_cv(model):
    rmse= np.sqrt(-cross_val_score(model, X_train, y, scoring="neg_mean_squared_error", cv = 5))
    return(rmse)
## 通过遍历，选择出Ridge模型的正则项最优参数
alphas = [0.05, 0.1, 0.3, 1, 3, 5, 10, 15, 30, 50, 75]
cv_ridge = [rmse_cv(Ridge(alpha = alpha)).mean() 
            for alpha in alphas]
## 图形展示
cv_ridge = pd.Series(cv_ridge, index = alphas)
cv_ridge.plot(title = "Validation - Just Do It")
plt.xlabel("alpha")
plt.ylabel("rmse")
# 查看交叉验证下损失最小的平均值
cv_ridge.min()
# lasso模型
## 自带交叉验证，也就是内置在Lasso模型，为方便我们选出更好的alphas值。
model_lasso = LassoCV(alphas = [1, 0.1, 0.001, 0.0005]).fit(X_train, y)
rmse_cv(model_lasso).mean()
## 获取各个特征求出的参数
coef = pd.Series(model_lasso.coef_, index = X_train.columns)
print("Lasso picked " + str(sum(coef != 0)) + " variables and eliminated the other " +  str(sum(coef == 0)) + " variables")
## 用图展示那些特征参数的重要性
imp_coef = pd.concat([coef.sort_values().head(10),
                     coef.sort_values().tail(10)])
matplotlib.rcParams['figure.figsize'] = (8.0, 10.0)
imp_coef.plot(kind = "barh")
plt.title("Coefficients in the Lasso Model")

## 用点图展示预测值和真实值的残差
matplotlib.rcParams['figure.figsize'] = (6.0, 6.0)
# 这个大神先用的训练集预测值和训练集的真实值的残差
preds = pd.DataFrame({"preds":model_lasso.predict(X_train), "true":y})
preds["residuals"] = preds["true"] - preds["preds"]
preds.plot(x = "preds", y = "residuals",kind = "scatter")

# xgboost 模型，待续.......

看完，你可能还有一些疑问，比如log(price+1)有什么作用?skewed_feats = skewed_feats[skewed_feats > 0.75]等等，下面简单阐述下若干疑点。

• log(price+1)有什么作用?
  答：+1 为了防止有 price 为 0，取 log 是一种分布的变换，希望它服从正态分 布。更为一般的方法是 box-cox 转换，log 是其特例之一

• skewed_feats = skewed_feats[skewed_feats > 0.75]，为什么这样选择数据？
  答：skew 太高的情况下，特征值会有较为严重的 shake up，特征的变化对于 模型的影响很大。这里选的是>0.75，选的大的，可以发现偏得很严重。

• 标准正态分布怎么理解？
  答：标准正态分布说明，各个点的纵坐标与均值偏差不大（二维）,这样的话离散型弱，即线性更强，线性回归更好。实际上，线性类模型都需要标准化，标准化有很多不同的 方法，比如 min max 标准正态化等等，可以参考一下 sklearn.preprocessing 下面几个标准化方法。

• 标准化是为了让特征取值差不多吧 如果特征一个特别大一个特别小 那拟 合时候 基本上起效果的就是特征值特别大的那个了?
  答：主要目的是方便数值优化，因为线性类模型都是涉及梯度的

• 小的那个特征影响微乎其微。至于要不要标准正太分布 好像线性回归 就 算不做标准正太的转换 也能做吧 ?
  答： 都需要标准化，肯定能的。