上期我们一起用RNN做了一个简单的手写字分类器,
深度学习算法(第18期)----用RNN也能玩分类
今天我们一起学习下RNN是如何训练并预测时序信号的,比如股票价格,温度,脑电波等。
每一个训练样本是从时序信号中随机选择20个连续的值,训练样本相对应的目标是一个往下一个时间的方向平移了一个step之后的20个连续值,也就是除了最后一个值不一样,前面的值和训练样本的后19个都一样的一个序列。如下图:
首先,我们创建一个RNN网络,它包括 100个循环神经元,由于训练样本的长度为20,所以我们将其展开为20个时间片段。每一个输入包含一个特征值(那一时刻的值)。同样,目标也包含20个输入,代码如下,和之前的差不多:
n_steps = 20
n_inputs = 1
n_neurons = 100
n_outputs = 1
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)
在每一个时刻,我们都有一个size为100的输出向量,但是实际上,我们需要的是一个输出值。最简单的方法就是用一个包装器(Out putProjectionWrapper)把一个循环神经元包装起来。包装器工作起来类似一个循环神经元,但是叠加了其他功能。比如它在循环神经元的输出地方,增加了一个线性神经元的全连接层(这并不影响循环神经元的状态)。所有全连接层神经元共享同样的权重和偏置。如下图:
包装一个循环神经元相当简单,只需要微调一下之前的代码就可以将一个BasicRNNCell转换成OutputProjectionWrapper,如下:
cell = tf.contrib.rnn.OutputProjectionWrapper(
tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu),
output_size=n_outputs)
到目前为止,我们可以来定义损失函数了,跟之前我们做回归一样,这里用均方差(MSE)。接下来再创建一个优化器,这里选择Adam优化器。如何选择优化器,见之前文章:
深度学习算法(第5期)----深度学习中的优化器选择
learning_rate = 0.001
loss = tf.reduce_mean(tf.square(outputs - y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
training_op = optimizer.minimize(loss)
init = tf.global_variables_initializer()
接下来就是执行阶段:
n_iterations = 10000
batch_size = 50
with tf.Session() as sess:
init.run()
for iteration in range(n_iterations):
X_batch, y_batch = [...] # fetch the next training batch
sess.run(training_op, feed_dict={X: X_batch, y: y_batch})
if iteration % 100 == 0:
mse = loss.eval(feed_dict={X: X_batch, y: y_batch})
print(iteration, "\tMSE:", mse)
输出结果如下:
0 MSE: 379.586
100 MSE: 14.58426
200 MSE: 7.14066
300 MSE: 3.98528
400 MSE: 2.00254
[...]
一旦模型训练好之后,就可以用它来去预测了:
X_new = [...] # New sequences
y_pred = sess.run(outputs, feed_dict={X: X_new})
下图显示了,上面的代码训练1000次迭代之后,模型的预测结果: 尽管用OutputProjectionWrapper是将RNN的输出序列降维到一个值的最简单的方法,但它并不是效率最高的。这里有一个技巧,可以更加高效:先将RNN输出的shape从[batch_size, n_steps, n_neurons]转换成[batch_size * n_steps, n_neurons],然后用一个有合适size的全连接层,输出一个[batch_size * n_steps, n_outputs]的tensor,最后将该tensor转为[batch_size, n_steps, n_outputs]。如下图: 该方案实施起来,并不难,这里不需要OutputProjectionWrapper包装器了,只需要BasicRNNCell,如下:
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
rnn_outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)
然后,我们对结果进行reshape,全连接层,再reshape,如下:
stacked_rnn_outputs = tf.reshape(rnn_outputs, [-1, n_neurons])
stacked_outputs = fully_connected(stacked_rnn_outputs, n_outputs,
activation_fn=None)
outputs = tf.reshape(stacked_outputs, [-1, n_steps, n_outputs])
接下来的代码和之前的一样了,由于这次只用了一个全连接层,所以跟之前相比,速度方面提升了不少。
好了,至此,今天我们主要数据集的设置,RNN的创建,如何降维,以及损失函数,优化器,训练和预测模型的方面学习了RNN的使用,希望有些收获,欢迎留言或进社区共同交流,喜欢的话,就点个“在看”吧,您也可以置顶公众号,第一时间接收最新内容。
智能算法,与您携手,沉淀自己,引领AI!