pytorch笔记:RNN

来自B站视频,API查阅,TORCH.NN

  • rnn可以处理变长序列,是因为其每个时刻的参数是共享的
  • rnn每算出一个时刻都可以输出,适合流式输出,但串行计算比较慢,无法获取太长的历史信息
  • RNN 初始隐状态不提供默认是0,输出包括两部分:所有时刻的输出 (batch_size,seq_len,out_hidden_size*num_direction) 和 最后一个时刻的隐状态 (num_layers*num_direction,batch_size,out_hidden_size)。竖向的是第一个元素,横向的是最后一个元素。即实际上第一个输出的最后一个元素就是第二个元素(冗余的)

这里的RNN没有提供 O t = H t W h q + b q O_t=H_tW_{hq}+b_q Ot=HtWhq+bq,输出只是 H t H_t Ht

你可能感兴趣的:(学习笔记,pytorch,笔记,rnn)