StarGAN-VC语音音色转换

StarGAN-VC是利用StarGAN的图像到图像翻译原理,来实现“多对多”的非平行数据集下的语音音色转换,其实质是对语音的梅尔能量进行转换。
StarGAN-VC和StarGAN的不同之处:

  1. StarGAN-VC加入了一致性损失(identity loss)
  2. StarGAN-VC将分类器独立出来
  3. StarGAN-VC在生成器和判别中都有连接说话人特征向量的操作
  4. StarGAN-VC使用了GLU激活层

StarGAN-VC结构:

由下图可以看到说话人向量的连接操作和GLU层。

StarGAN-VC语音音色转换_第1张图片

StarGAN-VC的特点:

对比CycleGAN-VC来说主要有:

  1. 一个模型实现非平行数据集下,“多对多”音色转换
  2. 模型速度比CycleGAN-VC快

StarGAN-VC实现:

pytorch StarGAN-VC

tensorflow StarGAN-VC

你可能感兴趣的:(机器学习)