【李宏毅2022 机器学习春】2022-作业说明hw3

文章目录

    • 2022-作业说明hw3
      • 学习目标
      • 数据集介绍
      • baseline
      • 模型选择
      • 数据增强
        • mixup
      • Test Time Augmentation(需要做多次才能显现它的优势,最后的test的加权多一点比较好)
      • Cross validation(需要对数据集做更改,这样就能train好几个model,不想做cross validation就把验证集划少一点,不需要这么多,只是用来验证 有无overfitting)
      • ensemble(average比较简单,voting可能会出现平手的情况需要处理)
      • 没有GPU资源可以用Kaggle
        • kaggle时间管理
      • checkpoing 重新恢复训练(一种长时间避免断掉的技巧)
      • train多个model来做ensemble更保险
      • Experimental Tips
      • Other tricks...
      • colab IO很慢,建议用kaggle
    • Q1.数据增强
    • Q2.残差连接
    • print 维度,不用自己计算
    • 训练 早停策略

2022-作业说明hw3

from:https://www.bilibili.com/video/BV1Wv411h7kN?p=35

学习目标

【李宏毅2022 机器学习春】2022-作业说明hw3_第1张图片

数据集介绍

【李宏毅2022 机器学习春】2022-作业说明hw3_第2张图片

baseline

【李宏毅2022 机器学习春】2022-作业说明hw3_第3张图片

模型选择

【李宏毅2022 机器学习春】2022-作业说明hw3_第4张图片

数据增强

【李宏毅2022 机器学习春】2022-作业说明hw3_第5张图片

mixup

【李宏毅2022 机器学习春】2022-作业说明hw3_第6张图片
使用mixup 需要改的地方
【李宏毅2022 机器学习春】2022-作业说明hw3_第7张图片

Test Time Augmentation(需要做多次才能显现它的优势,最后的test的加权多一点比较好)

【李宏毅2022 机器学习春】2022-作业说明hw3_第8张图片
【李宏毅2022 机器学习春】2022-作业说明hw3_第9张图片

Cross validation(需要对数据集做更改,这样就能train好几个model,不想做cross validation就把验证集划少一点,不需要这么多,只是用来验证 有无overfitting)

【李宏毅2022 机器学习春】2022-作业说明hw3_第10张图片
【李宏毅2022 机器学习春】2022-作业说明hw3_第11张图片

ensemble(average比较简单,voting可能会出现平手的情况需要处理)

【李宏毅2022 机器学习春】2022-作业说明hw3_第12张图片

没有GPU资源可以用Kaggle

【李宏毅2022 机器学习春】2022-作业说明hw3_第13张图片
【李宏毅2022 机器学习春】2022-作业说明hw3_第14张图片

kaggle时间管理

【李宏毅2022 机器学习春】2022-作业说明hw3_第15张图片
【李宏毅2022 机器学习春】2022-作业说明hw3_第16张图片
【李宏毅2022 机器学习春】2022-作业说明hw3_第17张图片

checkpoing 重新恢复训练(一种长时间避免断掉的技巧)

【李宏毅2022 机器学习春】2022-作业说明hw3_第18张图片

train多个model来做ensemble更保险

【李宏毅2022 机器学习春】2022-作业说明hw3_第19张图片

Experimental Tips

【李宏毅2022 机器学习春】2022-作业说明hw3_第20张图片

Other tricks…

【李宏毅2022 机器学习春】2022-作业说明hw3_第21张图片

colab IO很慢,建议用kaggle

【李宏毅2022 机器学习春】2022-作业说明hw3_第22张图片

Q1.数据增强

【李宏毅2022 机器学习春】2022-作业说明hw3_第23张图片

Q2.残差连接

【李宏毅2022 机器学习春】2022-作业说明hw3_第24张图片

提供的code 实作残差连接
【李宏毅2022 机器学习春】2022-作业说明hw3_第25张图片
【李宏毅2022 机器学习春】2022-作业说明hw3_第26张图片

print 维度,不用自己计算

【李宏毅2022 机器学习春】2022-作业说明hw3_第27张图片

训练 早停策略

【李宏毅2022 机器学习春】2022-作业说明hw3_第28张图片

你可能感兴趣的:(【李宏毅2022,机器学习春,作业hw】,深度学习)