Recurrent vs. Recursive Neural Networks | 递归神经网络和循环神经网络的RNN之争

写这个文章的原因是我又遇到了Recurrent和Recursive。我读了一个论文，开始的时候我心里默认是RNNs（Recurrent），但是读到文章最后发现作者写的是RNN（Recursive）。所以翻译一下这段文字顺便写一下二者的区别。

RNN-Based Models 部分翻译

下边的内容出自这篇文章。我将对RNN那一段进行翻译。

基于RNN的模型将文本视为一系列单词， 用于为文本分类任务捕获单词依赖和文本结构关系。但是普通的RNN性能并不好，性能甚至比不上前馈神经网络。在众多RNN变体中，LSTM是最受欢迎的构架，因为LSTM可以更好地捕获长期依赖关系……

Tai等人^[33]开发了一个Tree-LSTM模型，将LSTM推广到树状结构的网络类型，以学习丰富的语义表示。作者认为，对于NLP任务，Tree-LSTM是一个比链式结构LSTM更好的模型……Zhu等人^[34]也将链结构的LSTM扩展到树结构……

为了模拟机器阅读的长跨度单词关系，Cheng 等人^[35]用记忆网络代替单个记忆单元来增强 LSTM 架构……Multi-Timescale LSTM神经网络^[36]还旨在通过捕获具有不同时间尺度的有价值信息来对长文本（例如句子和文档）进行建模……

RNN属于DNN（深度神经网络），称为递归神经网络（Recursive Neural Network） 。递归神经网络递归地将同一组权值应用于一个结构化输入，以产生一个结构化预测，或对可变大小的输入产生一个向量表示。虽然RNNs是具有线性链结构输入的递归神经网络，但也有递归神经网络对层次结构进行操作，如自然语言句子的解析树^[43]，将子表示组合成父表示……

问题就出在这，看了半天我脑子里都是循环神经网络，到最后作者告诉我是递归神经网络。

Recurrent vs. Recursive Neural Networks

• 循环神经网络（recurrent neural network ，Rumelhart et al., 1986c）通常被称为RNN，是一类用于处理序列数据的链式神经网络。
• 递归神经网络（recursive neural network，Pollack,1990）是具有树状阶层结构且网络节点按其连接顺序对输入信息进行处理的人工神经网络。

递归神经网络被视为循环神经网络的推广，换句话说递归神经网络被视为循环神经网络更一般的形式。 因为当递归神经网络的每个父节点都仅与一个子节点连接时，其结构等价于全连接的循环神经网络。

其他材料：

1. 斯坦福cs224d课程：
   

2. 《深度学习》 第十章 序列建模

3. Recurrent vs. Recursive Neural Networks in Natural Language Processing

4. 如何有效的区分和理解RNN循环神经网络与递归神经网络？