【深度解析→博文总结】李宏毅机器学习2023作业03CNN(Image Classification)

【系列文章】

【深度解析→博文总结】李宏毅机器学习2023作业01Regression(COVID-19 Cases Prediction)
【深度解析→博文总结】李宏毅机器学习2023作业02Classification(Framewise Phoneme Prediction)
【深度解析→博文总结】李宏毅机器学习2023作业04Self-attention(Speaker Identification)

【简要说明】

1、本次文章总结记录作业03CNN的调参经验，如下图所示，最终本人的模型方案在Public Test和Private Test都达到了Boss Baseline【Public分数0.89666>0.87400；Private分数0.90600>0.88600】，欢迎入门和深入机器学习知识的朋友们能在评论区多多交流，共同进步。

2、本人是从事基于深度学习相关研究的一名博士，目前博士在读第5年。深感自己在机器学习/深度学习理论知识和实际调参经验方面都不够系统，今年希望能够跟随李宏毅教授的机器学习2023的作业在理论和实践方面都得到提升。
3、由于个人对基于深度学习的图像分类任务比较熟悉，有比较多的基础知识积累，所以这次作业比较顺利的很快达到了Boss Baseline的分数。

【视频分享】

为了提升创作效率，减少文字赘述，更多调参细节在视频中进行分享：

【深度解析→视频分享】李宏毅机器学习2023作业03CNN

【作业详情】

1、【作业简介】李宏毅教授的助教也将作业03CNN进行了详细的介绍，包括：作业内容解读、Kaggle提交介绍、代码调参提示和样例代码详解，视频已搬运至知乎和B站，详情见【知乎】【B站】。
2、【先修视频】：该作业在李宏毅教授课程官网列了两个先修视频，第一个是李宏毅老师2021年的关于CNN的课程视频，课程网页：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php，已搬运至知乎【先修视频01】，第二个是关于t-SNE的可视化中间特征类别分布效果的课程视频，是2017年的视频了，具体讲解的是“Unsupervised Learning - Neighbor Embedding”，会牵涉一些其他的知识，对有限的精力是一种极大的消耗，我感觉没必要去看这个视频，可以在网上搜搜t-SNE的文章看看就可以了。

【调参记录】

【Simple Baseline：0.637】

1、直接跑通助教的样例代码，由于不同机器随机数也不同的影响，直接跑通源码没达到Simple Baseline，下图是我的提交记录截图，预计增加训练Epoch数，就可达到Simple Baseline

【Medium Baseline：0.700】

1、添加“现成的”、“超强的”、“被广泛采纳的”数据增强，这里参考链接: ImageNet-1k分类，Epoch数从8增加到30&加上CosineAnnealingLR策略，即可达到Medium Baseline，下图是我的提交记录截图

2、必须要声名，如果严格按照作业要求来做的话，只提示了对train_tfm增加数据增强，并要采用5种数据增强组合来做，我这里直接借鉴了“经验”，同时把验证集和测试集也加了数据增强了，因此分类精度猛增…

【Stong Baseline：0.814】

1、在Medium Baseline方法设置的基础上，将Epoch从30增加到300，即可达到Stong Baseline，下图是我的提交记录截图

【Boss Baseline：0.874】

1、结合助教提示，使用torchvision里的预定义模型和Ensemble策略，最终选择了4个在验证集上结果比较高的模型：ResNet18、ResNext50、WideResNet50和EfficientNetB2，最终提交结果成功达到Boss Baseline，下图是我的提交记录截图。

2、因为近期比较忙了，就没有继续去提升Public的分数刷榜了，所以最终分数定格在了0.89666，看着排名一点点从前10掉出去，如果继续刷榜的话，保持前10应该是可以做到的，特别是torchvision里的模型，我只尝试到了EfficientNetB2，之后的鲁棒性更好的模型也没有继续尝试了。

【资源链接】

【2023机器学习】的系列资料包括 视频、课件、代码 等资源已经系统顺序命名并整理到百度网盘：https://pan.baidu.com/s/1-zfs0wn5rccTRVk34YZWaA，提取码：2023。

【写在最后】

【原创&整理不易，我的是文章如果有帮到你，或者你觉得还不错，麻烦点赞&关注支持下（你的支持将是激励我坚持创作的动力之一）】