李宏毅2021年机器学习作业4（Self-attention）实验记录

前言

声明：本文参考了李宏毅机器学习2021年作业例程，开发平台是kaggle notebook。

一、问题描述

识别出声音信号是哪个人说的，实质是一个classification问题。
B站作业讲解视频
Kaggle地址

Baselines:
○ Simple: Run sample code and know how to use transformer. 0.82523
○ Medium: Know how to adjust parameters of transformer.0.90547
○ Hard: Construct conformer which is a variety of transformer.0.95404

二、实验过程

2.1 跑助教提供的

由于助教讲解作业时提到，baseline能跑到0.82左右，可以改多头注意力部分和全连接层改进，所以我就没有再做。参照其他同学的baseline跑出的结果大概都在0.82左右。
Kaggle得分： 0.811

2.2 多头注意力

操作：将nhead从2改成1；全连接层从2 层改成1层
结果：
运行时长：42min
Kaggle得分：0.83444 0.84357

2.3 加深transformer encoder layer

操作：在2.2基础上，transformer encoder layer从一层改为两层
结果：
运行时长：1h
Kaggle得分：0.89777 0.90142（提升明显）

2.4 Conformer

conformer论文地址
conformer开源代码

操作：将2.2基础上transformer换成conformer
结果：
Kaggle得分：0.89555 0.89619

2.5 后续优化方案

• 调conformer相关参数。
• 调高d_model，使模型变复杂。
• 可以看到，从60000步到70000步，accuracy依然在增大，可以考虑增大训练轮数。

三、总结

Optimizer
使用AdamW，是Adam的一种变形

network架构

1. transformer多头注意力与单头注意力对于不同数据集有不同效果。
2. 输出线性层不宜过多
3. Conformer相比于Transformer有一定优化

代码链接：

https://github.com/Wangdaoshuai/LHYML2021-Spring