python3 21.用keras进行简单的非线性回归 学习笔记

前言

     计算机视觉系列之学习笔记主要是本人进行学习人工智能（计算机视觉方向）的代码整理。本系列所有代码是用python3编写，在平台Anaconda中运行实现，在使用代码时，默认你已经安装相关的python库，这方面不做多余的说明。本系列所涉及的所有代码和资料可在我的github上下载到，gitbub地址：https://github.com/mcyJacky/DeepLearning-CV，如有问题，欢迎指出。

一、构建非线性模型数据

     下面通过随机构造一些噪声点来构建线性模型数据：

import keras
import numpy as np
import matplotlib.pyplot as plt
# Sequential按顺序构成的模型
from keras.models import Sequential
# Dense全连接层
from keras.layers import Dense, Activation
# 优化器：随机梯度下降
from keras.optimizers import SGD

# 生成非线性数据模型
x_data = np.linspace(-0.5,0.5,200)
noise = np.random.normal(0, 0.02, x_data.shape)
y_data = np.square(x_data) + noise

# 显示随机点
plt.scatter(x_data, y_data)
plt.show()

     模型结果显示如下图1.1所示：

图1.1 非线性模型数据

二、构建非线性回归线

     下面通过keras进行数据训练来构建以上非线性模型数据的非线性回归线：

# 构建一个顺序模型
model = Sequential()

# 在模型中添加一个全连接层
# 神经网络结构：1-10-1，即输入层为1个神经元，隐藏层10个神经元，输出层1个神经元。 

# 激活函数加法1
model.add(Dense(units=10, input_dim=1))
model.add(Activation('tanh'))
model.add(Dense(units=1))
model.add(Activation('tanh'))

# 激活函数加法2
# model.add(Dense(units=10, input_dim=1, activation='relu'))
# model.add(Dense(units=1, activation='relu'))

# 定义优化算法
sgd = SGD(lr=0.3)
# sgd: Stochastic gradient descent,随机梯度下降法
# mse: Mean Squared Error, 均方误差
model.compile(optimizer=sgd, loss='mse')

# 进行训练
for step in range(3001):
    # 每次训练一个批次
    cost = model.train_on_batch(x_data, y_data)
    # 每500个batch打印一次cost值
    if step % 500 == 0:
        print('cost: ', cost)
# 打印权值和偏置值
W, b = model.layers[0].get_weights()
print('W：', W, ' b: ', b)
print(len(model.layers))

# 把x_data输入网络中，得到预测值y_pred
y_pred = model.predict(x_data)

# 显示随机点
plt.scatter(x_data, y_data)
# 显示预测结果
plt.plot(x_data, y_pred, 'r-', lw=3)
plt.show()
# 打印输出结果：
# cost:  0.11566254
# cost:  0.0059284647
# cost:  0.005420627
# cost:  0.0039270753
# cost:  0.0012707997
# cost:  0.0023045745
# cost:  0.00043227203
# W： [[-0.8097365   0.873398    0.46838143  0.16048421  0.23931012  0.37379673
#    1.6485813   0.02880438  0.05999178  0.2506774 ]]  b:  [-0.3891211  -0.27747348 -0.0352951   0.1672752   0.04472595  0.08710503
#   0.730751    0.21009925 -0.1056181   0.17212172]
# 4

     模型训练结果显示如下图2.1所示，由线性回归结果红色线可直观看出，使用简单神经网络训练后非线性回归拟合效果较好。

图2.1 非线性回归结果

     
     
     
     
【参考】：
     1. 城市数据团课程《AI工程师》计算机视觉方向
     2. deeplearning.ai 吴恩达《深度学习工程师》
     3. 《机器学习》作者：周志华
     4. 《深度学习》作者：Ian Goodfellow

---

转载声明：
版权声明：非商用自由转载-保持署名-注明出处
署名 ：mcyJacky
文章出处：https://blog.csdn.net/mcyJacky