机器学习与深度学习系列连载： 第二部分 深度学习（二十五) 递归神经网络Resursive Network

递归神经网络Resursive Network

递归神经网络是一种特殊的RNN组合神经网络。讲时间序列顺序的输入，进行组合输入。

1. 模型细节

输入的input的维度是以前word的2倍。

联合输入的V(wA wB) 并不是简单的 V(wA) 和V(wB)相加的和。
V(wA wB) ≠ V(wA) + V(wB)
而是一种新的意思。在下面例子中，not和very本身就没有含义，需要与其他有含义的词集合，才能表达。

2. 计算步骤

具体那两个词需要组合输入，那就需要NLP中的parsing的方法，依赖分析句子的组成成分。
我们以情感分析为例：

输入的两个词a,b

a,b间不能做简单的组合，他们之间是有交叉关系的

所以我们有：
（1）Recursive Neural Tensor Network

我们有$XW{X}^T$, 这样，ab之间就有有交集。

（2）Matrix-Vector Recursive Network
我们定义输入的word向量中一部分是原始的含义，一部分是它改变其他word的部分。

下图中，例如not的本身含义没有，是0，但是它的影响其他词的作用是负面的，所以是负数。

整个两个词的混合过程是：

（3）Tree LSTM
一般的，典型的LSTM是：

根据递归神经网络的启发，Tree-LSTM的结构是：输入为两组h和m

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！