78.循环神经网络(RNN)

1. 潜变量自回归模型

78.循环神经网络(RNN)_第1张图片

2. 循环神经网络

计算损失是比较ot和xt之间来计算损失,但是xt是用来更新ht,使得其挪到下一个单元。

用一个额外的whh来存时序信息。

3. 使用循环神经网络的语言模型

78.循环神经网络(RNN)_第2张图片

4. 困惑度(perplexity)

78.循环神经网络(RNN)_第3张图片

5. 梯度剪裁


g表示所有层的梯度放到一起。

6. 更多的应用RNNs

78.循环神经网络(RNN)_第4张图片

7. 总结

  • 循环神经网络的输出取决于当下输入和前一时间时间的隐变量
  • 应用到语言模型中时,循环神经网络根据当前词预测下一时刻词
  • 通常使用困惑度来衡量语言模型的好坏

你可能感兴趣的:(深度学习,rnn,人工智能,深度学习)