thchs30数据集

2 THCHS-30的特点

这部分我们介绍THCHS-30语音库。这个数据库是在2000-2001年记录的，第一个作者是Prof.Xiaoyan Zhu的一个研究生。这个语音库设计的目的是作为863数据库的补充，尽可能提高中文发音的涵盖率。这个新数据库叫TCMSD(清华大学连续普通话数据库），而且变得 更加开放。。我们15年前发布了这个数据库，其所有权为Prof.Zhu。后来又更名为THCHS-30，代表清华大学30小时中文语音库。THUYG-30也用了相同的命名规则，这个数据库将会在不就发布。

2.1 语音信号

THCHS-30是在安静的办公室环境下，通过单个碳粒麦克风录取的，总时长超过30个小时。大部分参与录音的人员是会说流利普通话的大学生。采样频率16kHz，采样大小16bits。

THCHS-30的文本选取自大容量的新闻，目的是为了扩充863语音库。我们选取1000句来录音。表1展示了双音素和三音素的涵盖率，从表中可以看出来THCHS-30的确提高了863数据库的发音涵盖率。

、

这些录音根据其文本内容分成了四部分，A（句子的ID是1_{250），B（句子的ID是251}500），C（501_{750），D（751}1000）。ABC三组包括30个人的10893句发音，用来做训练，D包括10个人的2496句发音，用来做测试。详细信息如下表：

2.2 附加资源

为了帮助构建一个实用的中文ASR系统，一些附加的资源也随着THCHS-30发布了。这些资源包括发音词典，语言模型，训练方法和一些其他有用的工具。另外还有一些噪声条件下的语音可供使用。

2.2.1 Lexicon 和 LM（发声词典和语言模型）

我们发布了两个语言模型和配套的发声词典。基于词汇的LM包括48k个词汇，而且是基于三音素的。词汇LM的训练用的是一个从中文Gigaword语料库中随机选取的文本集合，训练内容包括772000个句子，总计一千八百万个词汇，一亿一千五百万个汉字。phone LM用了一个比较小的、包括两百万字符的数据集做训练。用一个小的文本数据做训练是因为我们想尽可能少的保留语言信息，这样结果的性能就直接与声学模型的质量有关了。这两种LM用SRILM来训练。

2.2.2 脚本和方法

一些方法和有用的脚本也被公布出来，以便用THCHS-30训练一个完整的中文语音识别系统。这些脚本基于kaldi工具箱。训练的过程类似于kaldi例子中的wsj S5 GPU，尽管这个例子为了适合做中文识别而做出了一些改变。

2.2.3 噪声数据

我们也对噪声环境下的语音识别很感兴趣，因此，提供了一个噪声版本的THCHS-30：所有训练和测试的数据加上了白噪声，汽车噪声和咖啡馆噪声。我们致力于研究0dB噪声环境下的语音，因为这种条件下，噪声和语音的能量相等，也就是很吵。噪声的加入是通过简单的波形混合。

2.3 寻求挑战

由于THCHS-30是免费公开的，每个人都可以下载，建立他们自己的系统。为了鼓励研究，我们基于所提供的资源寻求挑战，主要包括两个任务：大词汇量识别和phone recognition。虽然前者更接近实用，但是后者有利于用更集中的方式去研究声学模型的方法。对于每个任务，我们都是在含噪语音的数据库下来比较性能。

3 基线系统

我们在THCHS-30上来描述基线系统。在竞争中我们来探讨这个基线系统的结果；任何人的结果只要有改善，我们就会将其公布在竞赛网站上。

3.1 框架和设置

我们用kaldi工具箱来训练HMM-DNN混合声学模型。系统的架构如上图。根据这个架构，单因素GMM系统首先被训练。所用的是标准的13维MFCC特征加上一阶和二阶的衍生物。为了减少信道的影响，需要使用倒谱均值归一化。然后，基于单音素系统，通过LDA和MLLT进行特征转换来构建三音素GMM系统。最后的GMM系统用来产生正式的队列数据，这些数据将会在后面的DNN 训练中用到。

基于GMM系统提供的队列数据，我们来进行DNN系统的训练，特征是40维的Fbanks特征，相邻的帧通过一个帧长为11 的窗进行串联，串联的特征被LDA转化，减少为200维。然后应用一个全局的期望和方差来获得DNN的输入。DNN的由4个隐含层组成，每个隐含层包括1200个单元。输出层由3386个单元组成。基线DNN模型通过交叉熵的规则来进行训练。随机梯度法(SGD)用来进行性能优化。最小批量处理设置为256帧，最初的学习率设置为0.008。基线MPE模型在基线DNN模型的基础上进行训练。

3.2初步结果

在纯净语音数据下，DNN系统和MPE系统的性能如下表，其中词汇识别的评价标准是字错率(CER)，音素识别的评价标准是音素错误率(PER)。表中的结果包括纯净语音和0dB带噪语音。可以看出，含噪语音的识别率明显低于纯净语音，尤其是噪声类型为白噪声。注意到CER和PER与其他标准语音库相比是相当高的，即使是在纯净语音下。通常认为这是数据异常造成的：为了寻找到涵盖尽可能多的发音，THCHS-30 的句子包含一些奇怪特殊的发音和拼写。这让识别任务变的更加难。

3.3 DAE法噪声消除

现在纯净语音识别还云里雾里里，这部分就先不翻译了，前段时间用一种方法改进了IMCRA算法，效果还不错，先将就着用吧。

4 总结

本文主要介绍了一个免费的开源中文语音识别数据库，附带的一些资源也做出了说明，例如语典，LM，和一些训练方法。这个语音库是第一个免费的中文语音库，我们希望能够促进语音识别的研究，鼓励更多年轻的研究者投入到这个领域，我们也寻求挑战，希望能够精诚合作，祈求创新。
|–|--|
| | |