The Voice Conversion Challenge 2018

 对2018年VC比赛的结果的简单总结
 VC任务根据数据驱动方式的不同主要可以分成两类

voice conversion

2.1 basic framework for speaker conversion

1. 一类是parallel VC:包含说话内容相同的source和target语句，用dynamic time wraping 对句子进行时间上的帧对齐，因而可以利用到语言信息，然后用监督学习的方法拟合转换函数conversion function。
2. 另一类是nonparallel VC:source 和target的说话内容是不同的。这个任务还没有一个主流的解决方法，但是主要有3种思路：
   1⃣️根据source 和target的声学聚类，做一个假的平行数据，
   2⃣️基于现有的平行数据做自适应，实现non-parallel的转换
   3⃣️说话者独立的音素内容latent variable的估计

2.2 feature extraction and conversion
1⃣️Acoustic-to-acoustic mapping:直接从speech提取特征，然后直接映射到target的特征上，最后将转换的特征用vocoder还原成语音，但是要求转换函数只转换speaker identity。
2⃣️phonetic posteriors-to-acoustic mapping:将提取到的说话者独立的语言特征作为输入，映射到target的acoustic feature上，因为可以只用目标数据集构建转换函数，因此平行和非平行数据集都适用。
3⃣️conversion function

3. a piecewise linear mapping,比如GMM,RBM
4. nonlinear function: kernel，dnn
5. exemplar-based mapping:比如非负矩阵分解

2.3 waveform generation
1⃣️deterministic vocoder确定性的source filter model(独立源-滤波器模型)，将转化的特征还原成语音，一般都有质量损失，因此会通过各种办法降低损失，如GL声码器进行波形建模和相位重建；也有vocoder free的方法，输入的speech直接通过各个不同时长的滤波器。
2⃣️data-driven vocoder用神经网络做波形恢复，如WaveNet, SampleRNN。

3. the voice conversion challenge of 2018

6. hub task–基于平行数据集上的任务
7. spoke task—非平行数据集的任务
    其中，数据集来源于DAPS，人为去除其中的噪声，数据库链接可以在文中获得。挑选target的时候，避免strong excitation 或者prosody dependent以减少干扰。
    评估
   自然度 对比生成语音和自然语音
   相似度 把生成的语句和source以及target分别比较—两句话是否是同一个人说的？是否有质量损失，以及在忽略质量损失的情况下可以判断为一个人发音的概率。

4. evaluation results

1. 主体框架(举办者开放的）：
   一部分人基于Merlin baseline system：一个可以搭建神经网络用于参数化合成的工具包
   一部分人基于sprocket baseline system(B01)：基于GMM vocoder based和DIFFGMM vocoder-free的开源系统
2. vocoder
   WORLD(11)， sprockets vocoder-free system（5），STRAIGHT（4），AHOcoder（2）, WaveNet（2），Griffin-Lim(2）。
   用多个male说话者训练many-to-one的系统（猜测是vocoder的训练），同样的思路在Hub和Spoke task中都用到。
3. N10 system
    首先用带有对齐转录的数百个小时的外部语音数据训练一个提取器；然后从source中提取conten posterior feature，将这个特征送入说话者依赖的LSTM-RNN网络中预测F0和STRAIGHT谱特征，最后用wavenet speaker-dependent将输出重建语音波形。训练阶段有一些人工的检查和数据的标注，包括F0提取误差的校正、移除一些不规则发声段。