课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)

语音辨识系统中的输入和输出

李宏毅老师2020新课深度学习与人类语言处理课程主页:
http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html
视频链接地址:
https://www.bilibili.com/video/BV1RE411g7rQ
课件ppt已上传至资源,可免费下载使用

P2 是课程安排,无需阐述

Speech Recognition 语音辨识 输入输出部分

课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第1张图片
输入:语音,形式化表示为 长度为T,维度为d 的向量
输出:文字,形式化表示为 长度为N 的tokens序列,词表(tokens总数)为V

输入:Acoustic Feature 声学特征

课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第2张图片
如何将一段语音转换为长度为T,维度为d 的向量,详细可参考《数位语音处理》第七章
  类似于word2vec里的window一样,从头取25ms的语音,将这25ms的语音转换为一个向量frame(音框),之后往右移10ms的框框,则可以得到在1s内将得到100个frames(注意,相邻的frame将会有重叠,且数据量很大)
其中这个frame形式有三种:

  1. 传统的400 个sample点(假设16KHz的声波,则25ms内便有400个点,400个数值)
  2. 39维的MFCC,不细讲可参考下图
  3. 80维的filter bank output,近年来流行的,取代

根据统计ICASSP、ASRU,得到 :

Frame Probability
filter bank output 75%
MFCC 18%
waveform 4%
spectrogram 2%
other 1%

课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第3张图片
(一个window的音波做DFT (离散傅里叶变换Discrete Fourier Transform)得到spectrogram,这一步很重要,因为声音讯号颇为复杂,同样人听起来一样的声音其声音讯号可能会有大不同,而经过DFT得到spectrogram是与同义的声音讯号有较强的相关性,之后再通过filter bank(根据哺乳类声学器官设计的filter),通常会再取log(log很重要,讯号处理中的log很巧妙),再经过离散余弦变换DCT(Discrete Cosine Transform)得到最终的MFCC

输出:Token

与传统的文字处理不同,一般的文字处理都以词表中的词为token,而声学中有四种主流的token形式

  1. Phoneme: a unit of sound 音位,音素 (发音的基本单位)
    课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第4张图片
      可将模型的输出选为phoneme,如读取语音one punch man 输出 W AH N P AH N CH M AE N ,再根据Lexicon(可视为“词汇表”)还原文本,而这个Lexicon是需要一定的语言学家提供,很多语言是找不到Lexicon的

  2. Grapheme:the smallest unit of a writing system (书写的最小单位,如英文字母、中文汉字)
    课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第5张图片
       依旧是 one punch man的语音输入,可将输出选为one_punch_man, 26个英文字母加空格和其他特殊符号,对于中文可以直接使用字且无空格的要求。

  3. Word:词
    课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第6张图片
       直接输出词,对于很多语言来说,词有很多,如中文,常用字较少,但词可谓无数

  4. Morpheme:the smallest meaningful unit (grapheme) 词素(有意义的词根及其扩展)
    课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第7张图片
      输出词根+词缀,而得到这样的数据有两种方法,其一linguistic语言学家、其二statistic统计得到。

  5. Bytes
    课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第8张图片
      这是最新的一种token方式,根据UTF-8编码通过语音预测bytes,其优点在语言无关性。

根据统计:

Tokens Probability
Grapheme 字母、汉字 41%
Phoneme 音素 32%
Morpheme 词根、缀 17%
Word 词 10%

数据集

课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第9张图片

模型

课程向:深度学习与人类语言处理 ——李宏毅,2020 (P2&3)_第10张图片
将在下一篇中解释模型

欢迎大家评论指正,共同学习。

你可能感兴趣的:(课程向,自然语言处理,深度学习,机器学习)