刘二大人PyTorch-循环神经网络(RNN)—基础篇

《PyTorch深度学习实践》视频

一.基础概念

对于一个全连接网络，即全部由线性层组成的网络，也称作dense(稠密型) 或者deep（深度型）网络，对于一个卷积神经网络，卷积核对多层图像处理，卷积核不变，所以权重数量少，而全连接网络的线性模型，权重数多，计算量大。

对于输入的特征具有明显的序列关系，如自然语言处理，或者天气时间序列预测，就适合使用RNN循环神经网络

 而分解之后可以明显看到，我们对于序列的输入xi一次次进入循环网络，使用了相同的线性层，将每次输入的得到的结果更新hi再进入循环网络中，化作代码就相当于一次for循环的循环过程，对于CNN网络中的激活函数通常使用【-1，1】的tanh作为激活函数 

二. RNNcell

具体的维度关系可以靠h是一个hidden_size * 1的维度，结合x为input_size * 1的维度来推出彼此的权重w的维度

 举例说明：

batchSize = 每组几个样本，seqlen  = 每次序列有几组batch

 

 三. RNN使用方法及意义

 层数增加

  四.举例说明

4.1 采用独热编码使得输入的x进行向量化 - RNNcell的写法 

 

因为这里是一个多分类问题,所以我们需要采用softmax,进行交叉熵损失计算,最终化为一个标量

 4.2 模型定义 - RNNcell的写法

 4.3 优化和交叉熵 - RNNcell的写法

criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(net.parameters(), lr = 0.1)

4.4 训练过程 - RNNcell的写法

这里loss没有用item()因为最终我们需要用所有层得到的loss进行构造加法的构造图,所以不需要使用item()停止生成计算图

 4.5 模型定义 - RNN的写法