Connectionist Temporal Classification (CTC)

一.RNN 模型

    RNN模型可以用来对两个序列之间的关系进行建模。但是，传统的RNN，标注序列和输入的序列是一一对应的。RNN模型在输入和输出的表达选择外，对数据不需要任何的先验知识prior knowledge。并且，通过判别式的方式训练，内部internal状态提供了强大且通用的机制来建模时间序列。
    到目前为止，我们还不能将RNN直接应用到序列标注任务上。问题在于，标准的neural network的目标函数，是在训练序列的每个节点上，单独定义的。换句话说，RNN只能被用来处理一系列独立label分类任务。这意味着，训练数据必须是预先分割的，网络输出必须经过后处理来给出最终的label序列。

二、时序分类Temporal classification

……

三、CTC——Connectionist Temporal Classification

使RNN支持CTC模型所需要的输出表示，关键步骤是将网络输出转换为一个在label序列上的条件概率分布，之后对于给定输入，网络通过选择最可能的label来完成分类。