Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short

  • 2023ICASSP
  • 东京大学&LINE Corp
  • Masaya Kawamura
  • github-code

abstract

  • motivation:VITS的质量很好,本文工作旨在用更小的模型、更快的推理速度实现高质量合成。
  • contribution:
    • 最耗时的是decoder(HFG)生成波形的模块,用iSTFTNet取代,完成频域到时域的转化;
    • multi-band生成:each iSTFT module generates sub-band signals, summed to generate the full-band target waveform.
    • multi-stream生成:use a trainable synthesis filter for the sub-band signals,
  • result
    • 0.066 on an Intel Core i7 CPU, 比VITS快4.1x
    • 相比于蒸馏模型(Nix-TTS,teacher-student,模型尺寸更小),当使用同样的model size时生成质量更好,因为end2end的结构比蒸馏的损失更小。

Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short_第1张图片

method

  • VITS的decoder是HFG的结构,通过将z上采样到采样点(多次卷积上采样),消耗比较大的计算量;
  • 受启发于iSTFTNet,将这一过程用逆傅立叶变换取代;

你可能感兴趣的:(paper笔记,人工智能)