2.1 TensorFlow实战一：单变量线性方程

【本文使用的是TensorFlow1.x，如需TensorFlow2.x的内容参见我的“TensorFlow2实战”笔记】

一、目标

训练一个单变量线性方程：

y = w * x + b

来拟合一系列根据随机分布人工生成的点集

二、人工生成目标训练集

1. 方案

在如下线性方程

y = 2.0 *x +1.0

的基础上添加振幅为0.4的噪声来生成训练集（也暗示了我们的训练结果应该接近w=2.0, b=1.0）

2. 代码实现

载入库并设置随机种子

import matplotlib.pyplot as plt #载入matplotlib
import numpy as np #载入numpy
import tensorflow as tf #载入TensorFlow

np.random.seed(5) #设置随机种子

设置随机种子的目的是为了让任何人每次生成的随机数总是固定的，以便于对照结果（本质上不是必须的，只是练习的一种手段）
在-1至1之间生成100个等间距的值作为特征集

x_data = np.linspace(-1, 1, 100)

注：np.linspace生成的是双闭区间，即第一项是-1，最后一项是1
然后按 y = 2.0 *x +1.0 并添加噪声来生成对应的标签集

y_data = 2.0 * x_data + 1.0 +np.random.randn(*x_data.shape) * 0.4

np.random.randn(x,y,z...)，其中x,y,z...是整数，这样就可以生成shape为(x,y,z...)numpy张量，其中每一个元素都按标准（normal）正态分布随机取得。x_data.shape等于元组(100,)，前面加“*”是对list或tuple拆包，可以理解为把list或tuple的元素一个个按顺序取出来。也就是说上面这一行的效果等于np.random.randn(100)

3. 用matplotlib可视化

可以用matplotlib可视化上述定义的散点图

plt.scatter(x_data, y_data)

也可以用下面的代码画出我们目标的线性函数，并设颜色为红色定、线宽为3

plt.plot(x_data, 2.0 * x_data  + 1.0, color = 'red', linewidth = 3)

输出

三、构建模型

用占位符定义定义训练数据

x = tf.placeholder('float', name = 'x')
y = tf.placeholder('float', name = 'y')

其中x是特征值，y是标签值。占位符即意味着等后面运行会话（Session）时再把数据传进去。然后用变量创建训练目标——斜率w和截距b

w = tf.Variable(1.0, name = 'w0')
b = tf.Variable(0.0, name = 'b0')

w和b训练开始的初值分别设为1.0和0.0（随意给的，但并不是所有模型随便给都好，可能影响训练效果），tf.Variable默认trainable为True，意味着w和b可以在训练过程中被改变——我们的目标就是通过训练，自动得到w和b的值。
接着定义模型函数和预测值节点

def model(x, w, b):
  return tf.multiply(x, w) + b

pred = model(x, w, b)

即输出根据当前的w和b所计算出的y

四、 训练模型

模型的训练是一个反复迭代的过程，通过当前参数的模型以及标签值来计算损失，根据损失来调整参数然后更新模型原来的参数。

1. 迭代轮数和学习率

迭代可以由条件终止。或手动设定轮数（epochs），本例我们使用后者，设定轮数为100。学习率（learning rate）影响损失的收敛，是个经验值：太小则收敛慢，太大会发生反复震荡，本例学习率设为0.05

train_epochs=100
learning_rate=0.05

2. 损失函数

损失函数（loss function）用于描述预测值与真实值（标签）之间的误差。损失函数减小的方向就是模型收敛的方向。均方差（Mean Square Error, MSE）是最常见的损失函数之一，也称作函数

用代码实现均方差损失函数

loss_function = tf.reduce_mean(tf.square(y - pred))

其中，函数 tf.reduce_mean 可以直接计算数组里所有元素的平均值（输出一个数）。

3. 优化器

优化器（Optimizer）是最小化损失函数的训练算法，TensorFlow的API已经包含了多种优化器的封装，我们可以直接使用而不必自己编写程序。最典型的一种优化器式梯度下降优化器（Gradient Descent Optimizer）

optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss_function)

注意优化器函数的输入项是学习率learning_rate和损失函数loss_function

五、创建会话

首先，实例化一个会话对象

sess = tf.Session()

然后初始化所有变量——这是使用TensorFlow变量必须做的

init = tf.global_variables_initializer()
sess.run(init)

这样我们就可以开始训练模型了，在以下for循环内迭代训练，并可视化

plt.figure() #创建新图
plt.scatter(x_data, y_data)
for epoch in range(train_epochs):
    sess.run(optimizer, feed_dict={x: x_data, y: y_data})
    #绘制每次训练的结果
    temp_w0 = w.eval(session=sess) #用于输出当前变量的值 也可以直接sess.run(w)
    temp_b0 = b.eval(session=sess)
    plt.plot(x_data, temp_w0 * x_data + temp_b0)
#保存最后的训练结果参数
b_final=sess.run(b)
w_final=sess.run(w)

输出结果

可以看到结果越来越趋向散点的轴线。
为了更清晰，可以创建一个新图显示按最后训练结果画出的线

plt.figure() #创建新图
plt.scatter(x_data, y_data)
plt.plot(x_data, w_final * x_data + b_final)

输出

image.png

打印最后得到的w和b

print('Final: w = %f, b = %f' %(w_final, b_final))

输出

Final: w = 1.973689, b = 1.036591

很接近我们的目标值w=2.0和b=1.0
最后别忘记关闭会话

sess.close()

六、训练批量

最后我们补充讨论一下训练批量问题。

1. 全批量训练

即每轮训练，整个训练集的所有标签数据都参与运算。也就是我们前面代码所做的，每个epoch都把x_data和y_data整个传给placeholder

...
for epoch in range(train_epochs):
    sess.run(optimizer, feed_dict={x: x_data, y: y_data})
...

这种做法的缺点是，如果训练集非常大，那么训练效率会很低。（本例中的100个标签算很少的所以还好）

2. 随机单一样本训练

每轮训练只从训练集随机抽出单一样本（相当于批量大小为1）参与计算，迭代足够多次数也可以达到训练效果。把之前的代码按如下修改即可得到

...
for epoch in range(train_epochs):
    i=np.random.randint(0, 100) #随机生成0~99间的一个整数
    sess.run(optimizer, feed_dict={x: x_data[i], y: y_data[i]}) #随机梯度下降（随机单一标签迭代）
...

对于梯度下降的随机样本训练也称为随机梯度下降法（SGD）

3. 随机小批量训练

每轮训练从训练集随机抽取一定数量的样本参与计算。比如本例可改为每轮随机抽取10个样本传给placeholder

...
for epoch in range(train_epochs):
    batch=np.random.randint(0, 100, 10) #随机生成0~99间的10个整数并组成数组
    sess.run(optimizer, feed_dict={x: x_data[batch], y: y_data[batch]}) #小批量随机梯度下降
...

对梯度下降法采用小批量抽样也成为小批量随机梯度下降法（Mini-batch SGD）。这种方法既可以减少SGD中杂乱样本的数量，效率也比全批量高，是前面两种方法的中和。

附：完整代码

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf

np.random.seed(5)

x_data = np.linspace(-1, 1, 100)

y_data = 2.0 * x_data + 1.0 + np.random.randn(*x_data.shape) * 0.4

plt.figure()
plt.scatter(x_data, y_data)
plt.plot(x_data, 2.0 * x_data+1.0, color='red', linewidth=3)

# 构建模型
x = tf.placeholder('float', name = 'x')
y = tf.placeholder('float', name = 'y')

w = tf.Variable(1.0, name = 'w0')
b = tf.Variable(0.0, name = 'b0')

def model(x, w, b):
  return tf.multiply(x, w) + b

pred = model(x, w, b)

# 训练模型
train_epochs=100
learning_rate=0.05

loss_function = tf.reduce_mean(tf.square(y - pred))

optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss_function)

# 创建和运行会话
with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    
    plt.figure() #创建新图
    plt.scatter(x_data, y_data)
    for epoch in range(train_epochs):
        batch=np.random.randint(0, 100, 10) #随机生成0~99间的十个整数组成的数组
        sess.run(optimizer, feed_dict={x: x_data[batch], y: y_data[batch]}) #小批量随机梯度下降
        #绘制每次训练的结果
        temp_w0 = w.eval(session=sess) #用于输出当前变量的值 也可以直接sess.run(w)
        temp_b0 = b.eval(session=sess)
        plt.plot(x_data, temp_w0 * x_data + temp_b0)
    #保存最后的训练结果参数
    b_final=sess.run(b)
    w_final=sess.run(w)
        

plt.figure() #创建新图
plt.scatter(x_data, y_data)
plt.plot(x_data, w_final * x_data + b_final)

print('Final: w = %f, b = %f' %(w_final, b_final))

注：创建会话使用了控制流语句with/as，可以在使用结束或异常时自动关闭session对象

Reference:
https://www.icourse163.org/learn/ZUCC-1206146808#/learn/content?type=detail&id=1214536570&sm=1