4.Keras实现预测房价问题

---

前言

笔者权当做笔记，借鉴的是《Python 深度学习》这本书，里面的代码也都是书上的代码，用的是jupyter notebook 编写代码。回归问题与logistic回归完全不是一类，logistic回归的本质其实是分类。

---

提示：以下是本篇文章正文内容，下面案例可供参考。

一、波士顿房价数据集

数据点：506个。分为404个训练样本和102个测试样本；输入数据的每个特征都有不同的取值范围。
波士顿房价社数据集也是内置在Keras的一部分。

---

二、步骤

1.导入Keras

---

2、加载波士顿房价数据集

from keras.datasets import boston_housing

(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()

每个样本是由13个数值特征的，例如人均犯罪率、住宅平均房间数，高速公路可达性等等。

每一个样本的数值是房价，例如0号索引的值是15.2(15.2千美元)

---

3、准备数据

将取值范围差异很大的数据输入到神经网络中，这是有问题的；
虽然网络可能会自动适应这种取值范围不同的数据，但是学习会变得更加困难。
基于此，我们普遍采用的最佳实践是对每个特征做标准化，
即对输入数据的每个特征（输入数据矩阵中的列），减去特征平均值，再除以标准差，这样得到的特征平均值为0，标准差为1.

# 数据标准化
mean = train_data.mean(axis=0)  # 求每一列的平均值，axis = 0 代表的是列
train_data -= mean
std = train_data.std(axis=0)  # 求每一列的标准差，axis = 0 代表的是列
train_data /= std

test_data -= mean
test_data /= std

---

4、构建网络

由于样本数量很少，我们采用一个较小的网络；包含两个隐藏层，每层有64个单元。
一般来说，训练的数据越少，过拟合现象会越严重，较小的网络可以降低过拟合。

from keras import models
from keras import layers

# 需要将同一个模型多次实例化，所以用一个函数来构建模型
def build_model():
    model = models.Sequential()
    model.add(layers.Dense(64, activation='relu', input_shape=(train_data.shape[1], )))
    model.add(layers.Dense(64, activation='relu'))
    model.add(layers.Dense(1))  # 最后一层是一个线性层，不需要激活函数
    model.compile(optimizer='rmsprop', loss='mse', metrics=['mae'])  
    # 用到的loss是mse(均方误差， mean squared error) 监控的mae是(平均绝对误差， mean absolute error)
    return model

利用K折验证来验证方法

由于数据集太小，如果我们用切片分割出验证集的话会更少
利用K折交叉验证，即：
           将数据划分为K个分区(通常K取4和5)
           实例化K个相同的模型，
           每一个模型在K-1个分区上训练，并在剩下的一个分区上进行评估。
模型的验证分数等于K个验证分数的平均值。
由于数据集太小，如果我们用切片分割出验证集的话会更少
利用K折交叉验证，即：
           将数据划分为K个分区(通常K取4和5)
           实例化K个相同的模型，
           每一个模型在K-1个分区上训练，并在剩下的一个分区上进行评估。
模型的验证分数等于K个验证分数的平均值。

# K折验证
import numpy as np

k = 4
num_val_samples = len(train_data) // k  # 取商(404 // 4 == 101)
num_epochs = 100
all_scores = []

for i in range(k):
    print('processing fold #', i)
    # 准备验证数据
    val_data = train_data[i * num_val_samples:(i + 1) * num_val_samples]
    val_targets = train_targets[i * num_val_samples:(i + 1) * num_val_samples]
    
    # 准备训练数据：其他所有分区的数据
    partial_train_data = np.concatenate([train_data[:i * num_val_samples], train_data[(i + 1) * num_val_samples:]], axis=0)
    partial_train_targets = np.concatenate([train_targets[:i * num_val_samples], train_targets[(i + 1) * num_val_samples:]], axis=0)
    
    # 构建keras模型
    model = build_model()
    model.fit(partial_train_data, partial_train_targets, epochs=num_epochs, batch_size=1, verbose=0)
    
    # 在验证数据集上评估模型
    val_mse, val_mae = model.evaluate(val_data, val_targets, verbose=0)
    all_scores.append(val_mae)

# 让训练时间更长一些
# K折验证
num_epochs = 500
all_mae_histories = []

for i in range(k):
    print('processing fold #', i)
    # 准备验证数据
    val_data = train_data[i * num_val_samples:(i + 1) * num_val_samples]
    val_targets = train_targets[i * num_val_samples:(i + 1) * num_val_samples]
    
    # 准备训练数据：其他所有分区的数据
    parti = np.concatenate([train_data[:i * num_val_samples], train_data[(i + 1) * num_val_samples:]], axis=0)
    partial_train_targets = np.concatenate([train_targets[:i * num_val_samples], train_targets[(i + 1) * num_val_samples:]], axis=0)
    
    # 构建keras模型
    model = build_model()
    history = model.fit(partial_train_data, partial_train_targets, validation_data=(val_data, val_targets), epochs=num_epochs, batch_size=1, verbose=0)
    
    mae_history = history.history['val_mae'] 
    all_mae_histories.append(mae_history)

---

绘制图像

import matplotlib.pyplot as plt

plt.plot(range(1, len(average_mae_history) + 1), average_mae_history)
plt.xlabel('Epochs')
plt.ylabel('Validation MAE')
plt.show()

# 上图的纵轴范围较大，数据方差想怼较大
# 删除前10个数据点，因为它们的取值范围与曲线上的其他点不同
# 将每一个数据点替换为前面数据点的指数移动平均值，以得到光滑的曲线
# MAE在39轮的时候不在显著降低，之后开始过拟合
def smooth_curve(points, factor=0.9):
    smoothed_points = []
    for point in points:
        if smoothed_points:
            previous = smoothed_points[-1]
            smoothed_points.append(previous * factor + point * (1 - factor))
        else:
            smoothed_points.append(point)
    return smoothed_points

smooth_mae_history = smooth_curve(average_mae_history[10:])

plt.plot(range(1, len(smooth_mae_history) + 1), smooth_mae_history)
plt.xlabel('Epochs')
plt.ylabel('Validation MAE')
plt.show()

---

5、训练最终模型

print(np.argmin(smooth_mae_history))  # 29
model = build_model()
# epochs = 29 + 10
model.fit(train_data, train_targets, epochs=39, batch_size=16, verbose=0)
test_mse_score, test_mae_score = model.evaluate(test_data, test_targets)

---

总结

回归问题用到的损失函数与分类不一样。回归问题常用的是均方误差(MSE)
回归问题使用的评估标准与分类也是不同。精度的概念不适用于回归问题。常见的回归指标是平均绝对误差(MAE)
如果输入的数据的特征具有不用的取值范围，应该先进行预处理，对每一个特征单独进行缩放
如果可以用的数据很少，使用K折验证可以可靠的评估模型
如果可以用的训练数据很少，最好使用隐藏层较少(通常只有一到两个)的小型网络，以避免严重的过拟合.
这个是我单纯看书跟着敲的，权当作笔记了，后续还要继续学习。强推《Python 深度学习》