CTC,RNN-Transducer, LAS

1、CTC ( Connectionist Temporal Classification)

网络结构

参考地址: CTC白话参考地址

其中CTC-loss 部分使用到了动态规划的思想。
大目标是：

$$\begin{gathered} min\sum _{B(\pi )=z}\prod _{t=1}^T{y}_{{\pi }_t}^t \\ min\sum _{B(\pi )=z}\sum _{t=1}^{T}log(y_{{\pi }_t}^t) \end{gathered}$$

其中$T$表示总帧数。$y_{{\pi }_t}^t$表示模型预测的第t帧，因素为${\pi }_t$的概率值。

dp[i][j]: 表示第考虑到i帧，压缩路径满足$z=(n,i,h,a,o)$的前j个时的，所有路径总概率和。记为：
$$\sum _{B(\pi )=z}\prod _{t=1}^i{y}_{{\pi }_t}^t$$

所以状态转移方程为:
$$dp[i][j]=dp[i-1][j]\ast y_{z_j}+dp[i][j-1]\ast y_{z_j}$$

2、RNN-Transducer

网络结构

3、LAS(Listen Attention Speech)

网络结构