2020李宏毅学习笔记——40.Recursive

recursive neural network递归神经网络

1.概念：

Recursive Network是比RNN更一般型式的神经网路。
递归神经网络（recursive neural network）是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络（Artificial Neural Network, ANN），是深度学习（deep learning）算法之一

2.应用：

Sentiment Analysis情节分析，就是分析一句话是积极还是消极

从RNN来看情绪分析的案例，将Word Sequence输入神经网路，经过相同的function-f最后经过function-g得到结果。
如果是Recursive Network的话，必需先决定这几个Sequence的关联，上图下案例来看，我们x1,x2关联得到h1,x3,x4关联得到h2，你看一下下图就知道区别

在实作Recursive Network的时候要注意，x,h的维度必需要相同(因为用的是同一个f)。

3.H

Recursive Network是一种RNN的扩展形式，他是空间的展开，且具有树形结构。RNN是一种结构模式。

过程：
从syntactic structure(文法结构)可以看的出这句话的结合方式
1.用词嵌入将每一个Word用Vectory来表示。
2.根据文法结构来结合：将Very, Good丢入function-f得到输出（词向量维等于| Z |）输入：| 2Z |，输出：| Z |

直观来看，我们希望得到的输出代表着『Very Good』
function-f是一个nn，它所处理的事情或许比想像中还要复杂一些，因此不会只是单纯的将两个向量相加而以。
举例来说，not是中性字，而good是正面，两个加起来并不是正面偏中性，而是一个负面字眼，因此这不可能是单纯的相加就可以达成的。
not good 的not是反向得到h1
very good 的very 是加深得到的h2

4.function-f是怎样的

function-f可以很简单，单纯的让a,b两个向量相加之后乘上权重W，但这么做可能无法满足我们上说明的需求期望，或者很难达到理想的效果。
当然类，也可以自己设计他，比如：
我们要让a,b两个向量是有相乘的关联，因此调整为下所示，两个向量堆叠之后转置XT乘上权重W再乘上X它的计算逻辑就是将两个元素相乘xixj之后再乘上相对应的权重索引元素值Wij 做加总∑i,j ，这么计算之后得到的是一个数值，而后面所得项目是一个2x1矩阵，无法相加，因此同样的事再做一次，要注意到简报上两个W颜色不同代表的是不同的权重值。

5.Matrix-Vector Recursive Network

该网络的核心思想：将词向量分成两部分，1是自己的部分，2是影响别人的部分。
这个方法感觉比较有道理，但实际上的Performance是较Recursive Network Tensor Network差。

6.Tree LSTM

典型的LSTM:h和m的输入对应相应的输出，但是h的输入输出差别很大，m的不大

Tree的LSTM:就是把那个f换成LSTM,看下图是的对应关系

还能：侦测两个句子是不是同一个意思，把两个句子分别得到embedding,然后再丢到f训练出来关系来预测