语音合成——声学模型概述
语音合成概述
文章概述：本篇文章主要介绍了语音合成的基础概念、主流声学模型的优缺点，以及语音合成前沿技术的科普；通过本篇文章的学习，可以对语音合成技术的概念以及模型的选型有一定了解；
语音合成流程
音素：最小的语音单位，如’普通话’这三个字是由3个音节，8个音素组成的；
主要有三个阶段：前端处理——声学模型——声码器
前端处理与声码器都有通用的一些方案，针对不同任务的改进点主要在声学模型部分；
自回归语音合成模型
主要包括：Tactotron2、Transformer TTS、Deep Voice 3
如上图所示，输入为文本，输出为频谱，无需繁琐的人工特区特征过程，实现端到端的语音合成；
传统自回归语音合成的一些缺陷：
- 合成速度非常慢，在实时性要求高的场景无法适用；
- 会出现重复吐字或者漏词的现象，对于商用语音合成看说无法接受；
- 无法细粒度控制语速、韵律和停顿；
非自回归语音合成模型
主要包括：FastSpeech、FastSpeech2
- FastSpeech
简介：
1、使用全并行的非自回归架构，解决生成速度慢的问题，同时引入知识蒸馏使得生成音频的性能接近自回归模型；
2、引入duration predictor来预测文本和频谱之间的强对齐，消除生成语音的跳词和漏词现象；
3、引入length regulator来解决自回归模型的可控性问题（长度和韵律）；
数据流说明：
声音变化的因素：
音高、音量、时间、音色，最终导致在相同文本的情况下生成的频谱图不同；
一对多映射问题（One-to-Many Mapping）
说明：多个语音变体对应同一文本的情况；
产生原因：
训练依赖于自回归教师模型及进行时长预测（提供更多信息作为输入）和知识蒸馏（简化输出中的数据分布），可以缓解一对多映射问题，但不能很好解决；
1、教师-学生蒸馏管道复杂并且训练耗时较大；
2、从教师模型attention中提取的时长预测不够准确；
2、用教师模型预测的Mel谱作为target，相比GT有信息损失导致音质受损；
- FastSpeech2
FastSpeech2中使用以下方法解决一对多映射问题：
1、直接用GT的Mel谱进行训练，去除知识蒸馏结构；
2、引入更多变化信息（pitch、energy、duration等）作为输入参数，参与到模型训练中；
结构图：
1、Variance adaptor
主要提取三种信息作为输出：
phoneme duration：音素的时长；
Pitch：音高（一个重要特征来表达情感和韵律）；
Engry：表达音量的信息；
2、CWT Pitch Predictor
原理：将音高从时域的一维曲线转换为平面的二维频谱；
因为音频变换很大，不好预测，作者使用了pitch spectrogram（音高声谱图）作为训练目标，先用CWT（连续小波变换）获得音高声谱图，然后训练predictor去预测它；合成语音时再用iCWT即CWT逆运算将音高声谱图转换为音高曲线；
3、FastSpeech2s
说明：作者希望实现text-to-waveform而不是text-to-mel-to-waveform的合成方式，从而拓展提出的；
主要思想：加入Waveform decoder的架构，使用WaveGAN中的对抗训练方法让模型隐式的学习恢复相位信息的方法；
4、Data Process
训练数据处理：将文本转成音素，将波形转成频谱；
最新模型
下面简单对最新的模型做简单介绍，详情介绍可参考论文
- Glow-TTS
论文地址：https://arxiv.org/pdf/2005.11129.pdf
简介：Glow-TTS是一个基于标准化流的并行化语音生成模型，不需要像FastSpeech一样学习对齐信息，而是通过单调对齐搜索算法MAS，搜索最优文本特征与语音特征的对齐信息，并行生成最终的语音特征；
实现效果：能够生成与Tacotron2音质相当的语音，而且实时率达到0.025，并通过实验证明该模型在多人语音合成上同样适用；
主要结构：
像BVAE-TTS、EATS都是自动对齐的模型，也是最新的一些模型；
-
未来研究方向
1、文本-音频端到端自动对齐：精度更高、速度更快、训练更简便、更稳定；
2、使用更好的生成模型提高频谱质量：Flow、VAE、GAN等；
3、韵律模块（包括时长、音高和能量）的精度优化；
4、文本到波形的端到端非自回归生成；
总结
1、声学模型的整体趋势是往非自回归形式发展，原因是非自回归的模型可以学习音高、能量、时长等特征信息，增加语音的丰富度和饱和度，赋予情感。而自回归模型则很难学习音高等特征；
2、随着语音技术的发展，对于语音合成的实时性要求也不断提高，语音技术可以很好的参与到各种领域中，包括人机交互、智能客服等，而自回归模型推理速度相对非自回归模型较慢；
3、目前较为成熟的非自回归模型（如FastSpeech2）也无法做到完全端到端实现，中间需要一步梅尔频谱的转换，最新的研究方向是完全的端到端实现，从输入文本到输出波形；