kaldi lattice(网格)

https://shiweipku.gitbooks.io/chinese-doc-of-kaldi/content/lattice.html

一、lattice 基础

    1、Lattice

        ① 它是一个FST;

        ② 输入:transition-ids      输出:词

        ③ 权重(weights):图代价(graph cost) +  声学代价 (acoustic cost

    2、CompactLattice(本质上包含了和Lattice相同的信息)

        ① 它是acceptor(输入域输出符号始终相同,均为词)

        ② 权重(weights): 一对浮点数(Lattice中的权重 )+ 一个整数序列(transition-ids)

    3、读取 Lattice 和 CompactLattice 均可用 SequentialLatticeReader。

          两者之间转换可使用 ConvertLattice()

    4、Lattice 和 CompactLattice 类型被当做数据结构来表示传统的网络,也用于表示 N-best 列表

    5、网络上很多算法(如取最优路径,或剪枝)用Lattice 类型比 CompactLattice 类型效率更高。

          这是因为 CompactLattice 类型的权重包括了transition-ids 序列(比较难处理)。

          像取最有路径的操作,会将权重相乘,对应着序列相加 。

    6、对很多算法来说,时间复杂度是网格长度的平方

    7、Lattices 通常以 CompactLattice 的形式存储在 archive(档案)

          而且惯例是 acoustic weights 不采用缩放(存储的时候不缩放)

          所以当对 acoustic weights 做敏感的运算(如剪枝),对应的命令行会有 --acoustic-scale 选项 (在 thch30     例子中是0.1 or 0.08333333),并在进行运算前缩放,运算结束后缩放回来。

    ps: 思考:根据第7点,调节 --acoustic-scale 参数对模型调优有没有帮助?

二、与 weights 相关 (graph cost, acoustic cost)

    1、LexicographicWeight 首先比较第一个元素并用第二个元素打破平局

    2、LatticeWeight  首先比较和值,用差值打破平局

    3、根据 1和2 可知,LatticeWeight(a,b) 与 LexicographicWeight(a+b, a-b)等价

    4、LatticeWeight 的意图是取总代价(graph+acoustic cost)最小的,同时分别记住 graph cost 和 acoustic cost

    5、之所以不用 LexicographicWeight 代替 LatticeWeight 是因为 (graph+acoustic cost, acoustic cost)这样定义有些混乱

三、生成lattice

    1、目前,生成 lattice 的唯一解码器是定义在 decoder/lattice-simple-decoder.h 中的类 LatticeSimpleDecoder,它被 gmm-latgen-simple.cc中调用

    2、LatticeSimpleDecoder 是由 SimpleDecoder 修改得到的

          SimpleDecoder 是 Veterbi beam search 算法的一个直接实现,只有一个可调参数 :pruning beam

          LatticeSimpleDecoder 有一个更重要的可调参数:lattice beam (也可称为 lattice-delta),一般比 pruning     beam 小

    3、基本框架是:

        ① LatticeSimpleDecoder 先生成一个状态级网络;

        ② 然后用 lattice-delta 剪枝;

        ③ 最后执行 determinization算法,对每个词序列仅保留最优路径

    4、在 SimpleDecoder 中,有引用计数的回溯(reference-counted tracebacks)

        在 LatticeSimpleDecoder 中,单个回溯是不够的,因为网格具有更复杂的结构。

        实际上,存储前向链接比后向链接更方便。

        为了释放 lattice-delta pruning(剪枝) 时不需要的链接,我们需要做的比引用计数更多,实际上也没有做引用计数。

四、一些 lattice 上的操作

    1、pruning lattices (剪枝)

        网格可以用一个设定的 pruning beam 来剪枝。这会去掉和网格中最优路径的代价相差不够小的那部分 arcs(弧) 和 states

    2、lattice composition (组合)

    ① 组合网格

        这是在转换器(tansducer)形式下完成的。例如可以把网格看做 transition-ids 到 words 的一个转换器

    ② 组合网格和一个固定的FST (是指网格和 HCLG.fst 的组合吗?)

        为了这个目的, FST 被动态地转换为网格;FST的权重解释为网格权重的 "graph part"

    3、有些时候我们不需要网格结构而是需要最佳路径或 N-best 路径

        N-best 列表的格式和网格一样,除了每个句子有多个 FSTs (如果设定了n,最多 n 个)

    4、如果想要网格的时间信息

        ① LatticeStateTimes 函数 (for lattice)

        ② CompactLatticeStateTimes 函数 (for CompactLattice)

五、总结

    根据之前看的资料,总结了一个基于 kaldi 的 ASR 和 KWS 流程,只是个人见解,可能存在不对的地方。

    1、wav2features 首先提取音频特征(训练不同的模型需要的特征不一样)

    2、提取的特征根据声学模型 (final.mdl ?) 得到 phones or HMM states

    3、根据 phones or HMM states 得到 lattices

    4、把 lattice 和 HCLG.fst 组合得到新的 FST,再从中得到 N-best 路径

    5、根据最佳路径得 ASR 解码结果;

          根据 N-best 路径搜索关键词。

你可能感兴趣的:(kaldi lattice(网格))