人工智能实践：Tensorflow笔记 Class 6：循环神经网络
目录
6.1 循环核
1.循环核
2.按时间步展开
6.2 循环计算层
1.层数
2.Tensorflow描述循环计算层
6.3 循环计算过程(Ⅰ)
步骤
代码
6.4 循环计算过程(Ⅱ)
步骤
代码
6.5 Embeddng编码
输入一个字母
6.6 RNN实现股票预测
6.7 LSTM实现股票预测
6.8 GRU实现股票预测
6.1 循环核
复习：卷积就是特征提取器（CBAPD），借助卷积核提取空间特征后，送入全连接网络
1.循环核
参数时间共享，循环层提取时间信息
2.按时间步展开
6.2 循环计算层
1.层数
向输出方向增长
2.Tensorflow描述循环计算层
数据送入RNN时，x_train维度=[送入样本数、循环核时间展开步数、每个时间步输入特征个数]
6.3 循环计算过程(Ⅰ)
步骤
字母预测任务：
词向量空间：
随机生成why，wxh，whh三个参数矩阵，记忆体个数为3。
过程：
代码
#导入库
import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Dense,SimpleRNN
import matplotlib.pyplot as plt
import os
#输入
input_word='abcde'
#为使字母输入神经网络将其编为数字
w_to_id={'a':0,'b':1,'c':2,'d':3,'e':4}
#将数字编为独热码
id_to_onehot={0:[1.,0.,0.,0.,0.],1:[0.,1.,0.,0.,0.],2:[0.,0.,1.,0.,0.],3:[0.,0.,0.,1.,0.],
4:[0.,0.,0.,0.,1.]}
#训练用的特征及标签
x_train=[id_to_onehot[w_to_id['a']],id_to_onehot[w_to_id['b']],id_to_onehot[w_to_id['c']],
id_to_onehot[w_to_id['d']],id_to_onehot[w_to_id['e']]]
y_train=[w_to_id['b'],w_to_id['c'],w_to_id['d'],w_to_id['e'],w_to_id['a']]
#打乱训练集顺序
np.random.seed(7)
np.random.shuffle(x_train)
np.random.seed(7)
np.random.shuffle(y_train)
tf.random.set_seed(7)
#将输入特征变为RNN层期待的形状
#第一个维度：样本数
#第二个维度：循环核时间展开步数
#第三个维度：每个时间步输入特征的个数
x_train=np.reshape(x_train,(len(x_train),1,5)) #5即字母对应的独热码，有五个数
y_train=np.array(y_train)
#搭建循环层
model=tf.keras.Sequential([
SimpleRNN(3), #三个记忆体
Dense(5,activation='softmax') #全连接层
])
#设置优化器、准确度函数、损失函数
model.compile(optimizer=tf.keras.optimizers.Adam(0.01),
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
metrics=['sparse_categorical_accuracy'])
checkpoint_save_path='./checkpoint/rnn_onehot_lprel.ckpt'
#保存模型及其参数
if os.path.exists(checkpoint_save_path+'.index'):
print('load the model')
model.load_weights(checkpoint_save_path)
cp_callback=tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
save_weights_only=True,
save_best_only=True,
monitor='loss')
history=model.fit(x_train,y_train,batch_size=32,epochs=100,callbacks=[cp_callback])
model.summary()
file=open('./weights.txt','w')
for v in model.trainable_variables:
file.write(str(v.name)+'\n')
file.write(str(v.shape)+'\n')
file.write(str(v.numpy())+'\n')
file.close()
acc=history.history['sparse_categorical_accuracy']
loss=history.history['loss']
#绘制准确率、损失函数曲线
plt.subplot(1,2,1)
plt.plot(acc,label='training accuracy')
plt.title('training accuracy')
plt.legend()
plt.subplot(1,2,2)
plt.plot(loss,label='training loss')
plt.title('training loss')
plt.legend()
plt.show()
#预测
preNum=int(input('input your number:')) #输入需要预测的任务量
for i in range(preNum):
alphabet1=input('input test alphabet:') #输入一个字母
alphabet=[id_to_onehot[w_to_id[alphabet1]]] #转换为独热码
alphabet=np.reshape(alphabet,(1,1,5))
result=model.predict([alphabet]) #预测
pred=tf.argmax(result,axis=1) #预测结果最大值
pred=int(pred)
tf.print(alphabet1+'->'+input_word[pred])6.4 循环计算过程(Ⅱ)
连续输入四个字母，预测下一个字母
步骤
代码
#导入库
import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Dense,SimpleRNN
import matplotlib.pyplot as plt
import os
#输入
input_word='abcde'
#为使字母输入神经网络将其编为数字
w_to_id={'a':0,'b':1,'c':2,'d':3,'e':4}
#将数字编为独热码
id_to_onehot={0:[1.,0.,0.,0.,0.],1:[0.,1.,0.,0.,0.],2:[0.,0.,1.,0.,0.],3:[0.,0.,0.,1.,0.],
4:[0.,0.,0.,0.,1.]}
#训练用的特征及标签
x_train=[
[id_to_onehot[w_to_id['a']],id_to_onehot[w_to_id['b']],id_to_onehot[w_to_id['c']],id_to_onehot[w_to_id['d']]],
[id_to_onehot[w_to_id['b']],id_to_onehot[w_to_id['c']],id_to_onehot[w_to_id['d']],id_to_onehot[w_to_id['e']]],
[id_to_onehot[w_to_id['c']],id_to_onehot[w_to_id['d']],id_to_onehot[w_to_id['e']],id_to_onehot[w_to_id['a']]],
[id_to_onehot[w_to_id['d']],id_to_onehot[w_to_id['e']],id_to_onehot[w_to_id['a']],id_to_onehot[w_to_id['b']]],
[id_to_onehot[w_to_id['e']],id_to_onehot[w_to_id['a']],id_to_onehot[w_to_id['b']],id_to_onehot[w_to_id['c']]],
]
y_train=[w_to_id['e'],w_to_id['a'],w_to_id['b'],w_to_id['c'],w_to_id['d']]
#打乱训练集顺序
np.random.seed(7)
np.random.shuffle(x_train)
np.random.seed(7)
np.random.shuffle(y_train)
tf.random.set_seed(7)
#将输入特征变为RNN层期待的形状
#第一个维度：样本数
#第二个维度：循环核时间展开步数
#第三个维度：每个时间步输入特征的个数
x_train=np.reshape(x_train,(len(x_train),4,5)) #5即字母对应的独热码，有五个数
y_train=np.array(y_train)
#搭建循环层
model=tf.keras.Sequential([
SimpleRNN(3), #三个记忆体
Dense(5,activation='softmax') #全连接层
])
#设置优化器、准确度函数、损失函数
model.compile(optimizer=tf.keras.optimizers.Adam(0.01),
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
metrics=['sparse_categorical_accuracy'])
checkpoint_save_path='./checkpoint/rnn_onehot_lprel.ckpt'
#保存模型及其参数
if os.path.exists(checkpoint_save_path+'.index'):
print('load the model')
model.load_weights(checkpoint_save_path)
cp_callback=tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
save_weights_only=True,
save_best_only=True,
monitor='loss')
history=model.fit(x_train,y_train,batch_size=32,epochs=100,callbacks=[cp_callback])
model.summary()
file=open('./weights.txt','w')
for v in model.trainable_variables:
file.write(str(v.name)+'\n')
file.write(str(v.shape)+'\n')
file.write(str(v.numpy())+'\n')
file.close()
acc=history.history['sparse_categorical_accuracy']
loss=history.history['loss']
#绘制准确率、损失函数曲线
plt.subplot(1,2,1)
plt.plot(acc,label='training accuracy')
plt.title('training accuracy')
plt.legend()
plt.subplot(1,2,2)
plt.plot(loss,label='training loss')
plt.title('training loss')
plt.legend()
plt.show()
#预测
preNum=int(input('input your number:')) #输入需要预测的任务量
for i in range(preNum):
alphabet1=input('input test alphabet:') #输入一个字母
alphabet=[id_to_onehot[w_to_id[a]] for a in alphabet1] #转换为独热码
alphabet=np.reshape(alphabet,(1,4,5))
result=model.predict([alphabet]) #预测
pred=tf.argmax(result,axis=1) #预测结果最大值
pred=int(pred)
tf.print(alphabet1+'->'+input_word[pred])6.5 Embeddng编码
独热码具有一定的局限性
使用Embedding编码
输入一个字母
#导入库
import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Dense,SimpleRNN,Embedding5
import matplotlib.pyplot as plt
import os
#输入
input_word='abcde'
#为使字母输入神经网络将其编为数字
w_to_id={'a':0,'b':1,'c':2,'d':3,'e':4}
#将数字编为独热码
id_to_onehot={0:[1.,0.,0.,0.,0.],1:[0.,1.,0.,0.,0.],2:[0.,0.,1.,0.,0.],3:[0.,0.,0.,1.,0.],
4:[0.,0.,0.,0.,1.]}
#训练用的特征及标签
x_train=[w_to_id['a'],w_to_id['b'],w_to_id['c'],w_to_id['d'],w_to_id['e']]
y_train=[w_to_id['b'],w_to_id['c'],w_to_id['d'],w_to_id['e'],w_to_id['a']]
#打乱训练集顺序
np.random.seed(7)
np.random.shuffle(x_train)
np.random.seed(7)
np.random.shuffle(y_train)
tf.random.set_seed(7)
#将输入特征变为RNN层期待的形状
#第一个维度：样本数
#第二个维度：循环核时间展开步数
#第三个维度：每个时间步输入特征的个数
x_train=np.reshape(x_train,(len(x_train),1)) #5即字母对应的独热码，有五个数
y_train=np.array(y_train)
#搭建循环层
model=tf.keras.Sequential([
Embedding(5,2),
SimpleRNN(3), #三个记忆体
Dense(5,activation='softmax') #全连接层
])
#设置优化器、准确度函数、损失函数
model.compile(optimizer=tf.keras.optimizers.Adam(0.01),
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
metrics=['sparse_categorical_accuracy'])
checkpoint_save_path='./checkpoint/rnn_onehot_lprel.ckpt'
#保存模型及其参数
if os.path.exists(checkpoint_save_path+'.index'):
print('load the model')
model.load_weights(checkpoint_save_path)
cp_callback=tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
save_weights_only=True,
save_best_only=True,
monitor='loss')
history=model.fit(x_train,y_train,batch_size=32,epochs=100,callbacks=[cp_callback])
model.summary()
file=open('./weights.txt','w')
for v in model.trainable_variables:
file.write(str(v.name)+'\n')
file.write(str(v.shape)+'\n')
file.write(str(v.numpy())+'\n')
file.close()
acc=history.history['sparse_categorical_accuracy']
loss=history.history['loss']
#绘制准确率、损失函数曲线
plt.subplot(1,2,1)
plt.plot(acc,label='training accuracy')
plt.title('training accuracy')
plt.legend()
plt.subplot(1,2,2)
plt.plot(loss,label='training loss')
plt.title('training loss')
plt.legend()
plt.show()
#预测
preNum=int(input('input your number:')) #输入需要预测的任务量
for i in range(preNum):
alphabet1=input('input test alphabet:') #输入一个字母
alphabet=[w_to_id[alphabet1]] #转换为独热码
alphabet=np.reshape(alphabet,(1,1))
result=model.predict([alphabet]) #预测
pred=tf.argmax(result,axis=1) #预测结果最大值
pred=int(pred)
tf.print(alphabet1+'->'+input_word[pred])6.6 RNN实现股票预测
