NLP应用(三)--RNNs

How to model sequential data?

前面都是one-to-one模型,即一个输入对应一个输出,

对于时序数据最好的是many-to-many或many-to-many模型

NLP应用(三)--RNNs_第1张图片

RNN就是这样的模型,不需要固定输入和输出的长度。

NLP应用(三)--RNNs_第2张图片

1、Simple RNN Model

NLP应用(三)--RNNs_第3张图片

NLP应用(三)--RNNs_第4张图片

NLP应用(三)--RNNs_第5张图片

NLP应用(三)--RNNs_第6张图片

NLP应用(三)--RNNs_第7张图片

NLP应用(三)--RNNs_第8张图片

NLP应用(三)--RNNs_第9张图片

NLP应用(三)--RNNs_第10张图片

NLP应用(三)--RNNs_第11张图片

NLP应用(三)--RNNs_第12张图片

NLP应用(三)--RNNs_第13张图片

Simple rnn的缺陷:不擅长long-term dependence

NLP应用(三)--RNNs_第14张图片

举例:

NLP应用(三)--RNNs_第15张图片

NLP应用(三)--RNNs_第16张图片

NLP应用(三)--RNNs_第17张图片

NLP应用(三)--RNNs_第18张图片

你可能感兴趣的:(NLP,自然语言处理,深度学习,人工智能)