Transformer-TTS: Neural Speech Synthesis with Transformer Network阅读笔记

5. Transformer-TTS: Neural Speech Synthesis with Transformer Network

文章于2019年1月发表

在这里插入图片描述

Transformer-TTS可以看做Tacotron2+transformer的组合,作者认为优点主要为:

  1. 通过移除RNN结构实现并行训练,因为解码器的输入序列的帧可以并行地提供。
  2. 第二种是self-attention可以将整个序列的全局上下文映射到每个输入帧中,直接构建远程依赖关系。

主要步骤和改进:

  1. text-to-phoneme,输入为phoneme;

  2. Encoder Pre-net: 有Embedding层和三层卷积层组成;

  3. Scaled Positional Encoding: 增加可训练参数 α α α,使之能够自适应地适应编码器和解码器prenets输出的大小;
    在这里插入图片描述

  4. Transformer Encoder和Decoder,参照[Attention Is All You Need](# 4. Attention Is All You Need);

  5. Decoder Pre-net: 两个全连接层;

  6. 保留Stop Token;

相比Tacotron2,训练速度提高三四倍。

MOS值对比:

Transformer-TTS: Neural Speech Synthesis with Transformer Network阅读笔记_第1张图片
欢迎进群交流~

你可能感兴趣的:(语音合成TTS,Transformer,transformer-TTS,attention,end2end,TTS,语音合成)