Audio-预训练模型-2020:Wav2vec 2.0

一、整体流程

基于 vq2vec 的思路,通过mask 在latent space 上的语音输入,训练一个contrastive task将真正的量化的latent变量表示与其他负例分辨出来(同时训练了量化过程的latent representation), 由此得到的representation, 基于少量的有标签数据fine-tuning就取得了不错的效果。相较于vq2vec无需接bert,将原先两个分开训练的模型合并成一个,是一个更好的工程实现。

Audio-预训练模型-2020:Wav2vec 2.0_第1张图片

 

自监督预训练(三)wav2vec 2.0原理剖析_xmdxcsj的博客-CSDN博客_wav2vec2

实例理解product quantization算法 - 静夜录

你可能感兴趣的:(#,Audio/预训练模型,算法,机器学习,人工智能)