CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

Abstract & Introduction & Related Work

  • 研究任务
    AAC(自动音频字幕)
  • 已有方法和相关工作
  • 面临挑战
  • 创新思路
    使用预训练模型,seq2seq模型使用CNN14和ResNet54作为encoder,transformer的decoder
  • 实验结论
    SPIDEr score of 0.246 and 0.285

PROPOSED MODEL

System Overview

CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING_第1张图片

Pre-Processing

输入特征使用了log-mel频谱图特征。音频数据的采样频率为44.1kHz,我们采用了1024大小的汉恩窗口,重叠率为50%。从每个窗口帧中,我们提取了64个对数梅尔波段的能量。对于时间窗口的数量,我们计算了样本数据集中的最大时间窗口数T。对于我们模型上的固定大小的输入特征,我们将时间维度填充为T大小的零

word embedding用word2vec

Data Augmentation

Spec Augment[8]作为一种数据增强方法被应用于更强大的训练。通过Spec Augment,在我们将对数谱图输入到CNN14或ResNet54编码器之前,频率掩码和时间掩码被随机地应用到对数谱图上

Pretrained Audio Neural Networks using AudioSet

预训练的PANNs用来处理输出,后面接encoder
CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING_第2张图片

Proposed Model

我们采用从PANNs学到的预训练网络(CNN14,ResNet54)作为AudioSet,并使用它们作为我们的编码器,把预训练模型的参数冻结

EXPERIMENTS

CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING_第3张图片

CONCLUSION

没有fine-tune的迁移学习表现最好

Remark

使用了在大规模数据集上预训练的迁移模型,并且不fine-tune效果更好??我表示非常疑惑,那是不是说明你这个模型并不能学到什么东西,奇奇怪怪

你可能感兴趣的:(Audio,读paper,transformer,深度学习,人工智能,语音识别,神经网络)