RNA,RNN-T模型总结

RNA与RNN-T笔记
首先，先来看什么是RNA呢？

其实我们可以发现RNA与CTC其实很相像，但是在输出部分其实进行了一系列优化，我们可以看到，在RNA中的前一个token其实对后一个是有影响的。将相当于RNA中有一种dependency关系。接下来我们看一看RNN-T（对RNA进行一系列优化）

我们可以看到最大的不太就是RNN-T的每一个h其实不止可以控制一个token，而且可以控制多个直到出现Ø（NULL）为止。

如上图所示，有几个Ø（NULL）就有几个h

那么，我们是怎样让前一个token其实对后一个是有影响呢？如下图

以每一个Ø（NULL）为结束，前一部分的token会对后面的输出产生影响。

在训练过程中呢，直接就用大量的数据进行训练就好，不用最开始就引入Ø（NULL），而且RNN-T也很适合进行训练。