深度学习——Keras实现线性和非线性回归

在上篇深度学习框架Keras的教程中，我们详细的介绍了Keras中的Sequential和Functional API。也使用Keras的Sequential实现了手写字体的识别。这次的推文中我们继续来看看Keras的简单使用。因为简单，所以这次我们的教程主要是使用Keras来实现机器学习中重要的算法-线性和非线性回归算法。

一、线性回归

线性回归是机器学习领域中常见的算法，该算法试图学习到一个线性模型以尽可能精确的预测出有关输入X的输入Y，或者说精确的建立自变量和观测变量之间的映射关系。好比我们初中阶段学习的：y=kx+b。

二、Keras实现线性回归算法

简单的介绍了线性回归的概念之后我们就来实现这个算法了，不懂线性回归模型的小伙伴自己先补充一些机器学习的知识哈。

这里先复习一下使用Keras中Sequential模型来实现一个构建神经网络模型的步骤:

1. 导入模块并生成数据
2. 建立深度学习模型
3. 激活模型
4. 进行模型的训练
5. 进行模型验证

2.1 先导入相应的模块

import numpy as np

import matplotlib.pyplot as plt
from keras.models import Sequential

from keras.layers import Dense

代码解释:

（1）第一行代码导入numpy，此模块用来产生训练数据集和测试数据集

（2）第二行代码导入画图的模块

（3）第三行代码导入keras中的Sequential API。

（4）第四行代码导入keras中的全连接层（密集层）

2.2 构建数据集

X_data = np.random.rand(200)
noise = np.random.normal(loc=0,scale=0.09,size=X_data.shape)

Y_data = 2*X_data + noise

X_train, Y_train = X_data[:160], Y_data[:160]     # 前160组数据为训练数据集
X_test, Y_test = X_data[160:], Y_data[160:]       # 后40组数据为测试数据集

plt.scatter(X_data,Y_data, c='r', marker='x')
plt.xlabel('X_data')
plt.ylabel('Y_data')
plt.show()

代码解释:

（1）第一行代码创建X_data数据，使用函数np.random.randn()来创建200个服从标准正态分布取值范围为[0,1)的值。

（2）第二行代码创建200个随机干扰值，这些数据满足均值为0，标注差为0.09

（3）第三行代码构建了一个表达式然后使scatter()函数画出了我们设置的x_data和y_data数据点的分布情况，并给坐标值写上备注，接下来我们将进行构建模型。表达式刻画了我们X_data、Y_data和noise三者之间的关系。我们的目标是使用Keras学习到一个表达式，这个表达式要与其接近或者一样。

（4）第四行到第五行代码使用列表的切片来进行数据的划分。

（5）剩下的代码用来展示我们产生的数据集，如下图所示。

2.3 构建Sequential模型并编译模型

model = Sequential()
model.add(Dense(units=1, input_dim=1))
model.compile(optimizer='sgd', loss='mse')

代码解释:

上述第一行表示使用Sequential模型；

上述第二行代码表示增加一个Dense全连接层，这个全连接层的神经元的个数或者说输出空间的维度；

上述第三行代码表示进行模型的编译，这里的优化器为sgd即随机梯度下降，损失函数选择mse即均方误差。

2.4 进行模型的训练

接下来就是进行模型的训练了：

for step in range(2000):
   train_cost = model.train_on_batch(X_train, Y_train)
   if step % 100 == 0:
       print('train_cost:', train_cost)
w, b = model.layers[0].get_weights()
print('w:', w, 'b:', b)

代码解释：

1. 第一行代码的for循环表示我们将进行2000批次的训练。
2. 第二行的代码表示我们在数据集train_x, train_y的一批数据集上训练
3. 第三行到第四行表示每训练100次的时候就打印一次训练的损失。
4. 第五行到第六行表示打印训练好的这个模型第一层的w,和b参数的值。layers[0]表示取第一层，因为我们只增加了一个Dense，因此我们建立的模型也只有一层。

上述代码运行之后，最后打印的的train_cost为 0.008163492，我们得到的参数值为：w: [[1.8364288]] b: [0.06628263]为了更加直观的显示实际的拟合效果，我们显示在训练集合上训练出的模型

y_pred = model.predict(X_train)
plt.scatter(X_train, Y_train)
plt.plot(X_train, y_pred, 'r-', lw=3)
plt.show()

显示结果如下：

代码解释：

（1）第一行代码是将数据X_train输入到网络中，并预测出y_pred

（2）第二行代码显示训练集的数据，进行相应的可视化。

（3）第三行代码显示训练集X_train和预测值y_pred之间的函数关系。

由上图可以看出，我们求得(训练得到)的参数能较好的拟合那些数据点。

2.5 进行模型的验证

在生成数据集的时候，我们预留了测试集。接下来我们就要在测试集上进行模型的评价了，来看看在测试集上的cost为多少：

test_cost = model.evaluate(X_test, Y_test, batch_size=40)
print('test_cost:', test_cost)

输出结果为：test_cost: 0.00930690299719572

可以看出，在进行2000次的迭代以后，我们的train_cost > test_cost的，这说明我们的模型还可以继续进行优化，可以继续增加训练的迭代次数，比如增加到3000次，4000次，当然了也不能过拟合。

感兴趣的小伙伴把这个迭代次数改为300，看看可视化的情况是怎样的。

以上我们就使用Keras的Sequential构建了一个线性回归模型：Y = 1.8364288*X + 0.06628263，它能较好的刻画我们所产生的数据集X_data和Y_data之间的联系。

三、Keras实现非线性回归算法

线性回归的函数是线性的，那么非线性回归的函数也就是非线性的啦。那么我们该怎么训练一个非线性回归模型去拟合X_data和Y_data呢？不着急我们接着往下学:

跟线性回归模型一下，我们先导入相应的模块，并构建一个映射函数:

import numpy as np
import matplotlib.pyplot as plt
from keras.layers import Dense
from keras.models import Sequential
from keras.optimizers import SGD
from keras.layers import Activation

X_train = np.linspace(-1,1,200)
noise = np.random.normal(loc=0,scale=0.09,size=X_train.shape)
Y_train = X_train **3 + + noise

plt.scatter(X_train,Y_train, c='r', marker='x')
plt.xlabel('X_train')
plt.ylabel('Y_train')
plt.show()

同样我们也使用序贯模型:

model = Sequential()
model.add(Dense(units=10, input_dim=1))
model.add(Activation('tanh'))
model.add(Dense(units=1))
model.add(Activation('tanh'))
model.summary()
sgd = SGD(lr=0.3)
model.compile(optimizer=sgd, loss='mse')
for step in range(4000):
   train_cost = model.train_on_batch(X_train, Y_train)
   if step % 500 == 0:
       print('train_cost:', train_cost)

我们来解释一下其中的几行代码:

1. 第二行到第五行代码是用来构建模型的相应的层的，分别是全连接层、激活层、全连接层和激活层。其中第一层全连接层有10个神经元(节点)，input_dim为1。第二个全连接层有1个神经元(节点)，其实第四行代码我们可以这样写：
   model.add(Dense(units=1,input_dim=10))，即第二层的全连接层的input_dim为10。

（2）第六行代码是打印模型的一个整体情况，结果如下所示，我们可以清楚的看到模型的层级和参数情况：

Total params: 31

Trainable params: 31

Non-trainable params: 0

（3）第七行代码模型的学习率，里面的lr是梯度下降法的更新步长，在使用keras的fit()函数时，我们可以在callback中设置在运行过程中调整学习率的方法。大家可以在文档https://keras-cn.readthedocs.io/en/latest/other/callbacks/中找到答案，后期深入研究的时候我们可以详细的说说这个callback。

接下来，我们看看我们训练的模型对训练集的拟合情况:

y_pred = model.predict(X_train)
plt.scatter(X_train, Y_train)
plt.plot(X_train, y_pred, 'r-', lw=3)
plt.show()

可以看到实际的拟合还是不错的。当然了我们训练的模型的参数是可以保存的,以避免每一次都进行训练,保存模型的参数只需要使model.save_weights就可以搞定，如

model.save_weights('my_model_weights.h5')。

四、总结

又到了总结的时候了，看了上面的教程是不是觉得很简单，没错。大家不能只看不练习哦，自己也跟着学习起来，不会机器学习的小伙伴在课余或工作之外的时间还是得补充一点相关知识哦。