【深度解析→博文总结】李宏毅机器学习2023作业04Self-attention(Speaker Identification)

【系列文章】

【深度解析→博文总结】李宏毅机器学习2023作业01Regression(COVID-19 Cases Prediction)
【深度解析→博文总结】李宏毅机器学习2023作业02Classification(Framewise Phoneme Prediction)
【深度解析→博文总结】李宏毅机器学习2023作业03CNN(Image Classification)

【简要说明】

1、本次文章总结记录作业04Self-attention的调参经验，如下图所示，最终本人的模型方案在Public Test和Private Test都达到了Boss Baseline【Public分数0.96150>0.93175；Private分数0.96350>0.93000】，欢迎入门和深入机器学习知识的朋友们能在评论区多多交流，共同进步。

2、本人是从事基于深度学习相关研究的一名博士，目前博士在读第5年。深感自己在机器学习/深度学习理论知识和实际调参经验方面都不够系统，今年希望能够跟随李宏毅教授的机器学习2023的作业在理论和实践方面都得到提升。
3、这次的作业感觉比2022年时候简单了很多，特别是Boss Baseline的分数设置的也比较高，而且训练集总能达到100%的准确度。

【视频分享】

为了提升创作效率，减少文字赘述，更多调参细节在视频中进行分享：

【深度解析→视频分享】李宏毅机器学习2023作业04Self-attention

【作业详情】

1、【作业简介】李宏毅教授的助教也将作业04Self-attention进行了详细的介绍，包括：作业内容解读、Kaggle提交介绍、代码调参提示和样例代码详解，视频已搬运至知乎和B站，详情见【知乎】【B站】。
2、【先修视频】：该作业在李宏毅教授课程官网列了两个先修视频，是李宏毅老师2021年的关于Self-attention的课程视频，课程网页：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php，已搬运至知乎和B站，详情见【先修视频01：知乎 B站】【先修视频02：知乎 B站】

【调参记录】

【Simple Baseline：0.66025】

1、由于“样例代码”按照迭代次数设置的模型保存方式，以及训练集和验证集都是基于 切割后的子序列 进行的指标计算
2、因此，仿照 作业二 样例代码，修改为按照epoch数保存模型，同时，验证集也不要再切割为子序列（跟测试集一样，设置batch=1） ，这样子更符合深度学习 常规设置
3、更主要原因的是这样子的验证集Acc和提交测试集Acc更能保持一致，更有利于调参，直接跑通后提交的截图如下

【Medium Baseline：0.81750】

1、增大Epoch到360 & 切割长度增大到256 & sigmoid函数改为ReLU函数，成功达到了Medium Baseline，下图是我的提交记录截图

【Stong Baseline：0.88500】

1、在Medium Baseline中的提示 下尝试：增大d_model即加宽网络、增大n_head和增大dropout都 没有取得 明显提升 的验证集Acc
2、加大宽度，即设置num_layers为4，有效达到了Strong Baseline

【Boss Baseline：0.93175】

1、设置num_layers为4、5、6、7，跑四个模型进行Ensemble，最终成功达到Boss Baseline
>2、加上Conformer和Self-Attention Pooling之后，再训练4个新的模型进行Ensemble，提交后的结果达到0.96150，即文章开头的最终提交分数

【资源链接】

【2023机器学习】的系列资料包括 视频、课件、代码 等资源已经系统顺序命名并整理到百度网盘：https://pan.baidu.com/s/1-zfs0wn5rccTRVk34YZWaA，提取码：2023。

【写在最后】

【原创&整理不易，我的是文章如果有帮到你，或者你觉得还不错，麻烦点赞&关注支持下（你的支持将是激励我坚持创作的动力之一）】