Tacotron2讲解

参考博客:
https://blog.csdn.net/whjkm/article/details/89321954#commentBox
https://blog.csdn.net/yunnangf/article/details/79585089

github代码:
https://github.com/NVIDIA/tacotron2

一、模型结构
模型结构上,tacotron2tacotron基本类似,除了CBHG结构和Griffin结构上略有区别
Tacotron:
Tacotron2讲解_第1张图片
Tacotron2:
Tacotron2讲解_第2张图片
二、重点区别:
1、encoder部分,使用了embedding + 3Conv_layers + Bi-directional_LSTM
2、attention使用的是location sensitive attention,可参考:https://www.cnblogs.com/mengnan/p/9527797.html
3、Pre_netdropout是一直设置为 true 的(据说是根据实验效果),post_net中最后一层一般为linear激活函数
4、最后的 mel_output_post 是经过 post_netlinear_projection相加得到
5、多帧预测方面,虽然Tacotron2没有使用多帧,但是实现原理类似

三、代码部分
此博客已经讲的比较详细,建议使用上面的模型结构图,理清模型结构,再细读代码。https://blog.csdn.net/whjkm/article/details/89321954#commentBox

你可能感兴趣的:(TTS,深度学习,pytorch)