语音论文优选：口语理解A Streaming End-to-End Framework For SLU

声明：语音论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

 

A Streaming End-to-End Framework For Spoken Language Understanding

本文为滑铁卢大学在2021.05.20更新的文章，主要做流式口语理解的工作，具体文章链接https://arxiv.org/pdf/2105.10042.pdf

---

1 背景

我们先看一下具体的语音交互的系统的整个流程：speech->ASR->NLU->NLG->TTS->speech。该流程的每个模块将会独立训练，因此ASR的错误将会被后续的模块逐渐积累放大，常用的做法就是在ASR之后添加纠错系统。而另一种的方法就是Spoken Language Understanding，直接从speech中获取意图，目前研究较热的是end-to-end的SLU，但该模型需要较长的latency，因此本文提出基于streaming的end-to-end SLU，其准确率与现有的end-to-end的SLU相当，但latency较小。

2 详细的设计

图1展示了传统的SLU,end-to-end SLU和本文的streaming end-to-end SLU。其中本文的streaming end-to-end SLU可以增量式识别意图和识别多意图。其中streaming end-to-end SLU的架构如图2所示:ULSTMP +CTC。具体的streaming end-to-end SLU和end-to-end SLU的区别如图3所示，end-to-end SLU需要获取整个句子才可以识别意图，而streaming end-to-end SLU是增量式的识别意图。

 

 

3 实验

本文主要对比三个实验：单意图识别，多意图识别和语音关键词发现。table 1在单意图实验对比现有 end-to-end SLU和streaming end-to-end SLU的性能，由此可以本文streaming end-to-end SLU准确率与end-to-end SLU相当，但latency较小。table2是多意图测试，该测试是streaming end-to-end SLU在不同训练集和测试集上测试，横轴是测试集，纵轴为训练集。table3为语音关键词发现实验，效果与现有的方案性能相当。

 

 

 

 

 

 

4 总结

本文主要提出了streaming end-to-end SLU，直接从speech中获取意图，减少了ASR错误累计，而且latency较小。​