【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】

文章目录

  • 写在前面
    • 标准
    • 提示:
      • 实验记录:
      • 1. Sample code
      • 2. 数据归一化,添加了BN,大的batch_size由64改为128,修改激活函数为Relu,添加plot_learning_curve工具看loss曲线,
      • 3. (overfitting)make model simpler(直接去掉第三层全连接层)
      • 4. batch_size直接改为512
      • 5. lr = 0.001(默认参数)
      • 6. 修改model->256, batch_size修改为1024![在这里插入图片描述](https://img-blog.csdnimg.cn/a08aa01a2f454758a4ce428f8e1f3614.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBASSJsbCAgY2FycnkgIHlvdQ==,size_20,color_FFFFFF,t_70,g_se,x_16)
      • 7. 网络从1024->256
      • 8. 512->128

写在前面

早期的调参记录无任何经验,直接参考最新的

strong baseline参考


标准

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第1张图片

提示:

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第2张图片

实验记录:

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第3张图片

1. Sample code

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第4张图片

2. 数据归一化,添加了BN,大的batch_size由64改为128,修改激活函数为Relu,添加plot_learning_curve工具看loss曲线,

早停策略【hw1】不错,这里没加
【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第5张图片

3. (overfitting)make model simpler(直接去掉第三层全连接层)

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第6张图片
【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第7张图片

4. batch_size直接改为512

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第8张图片

5. lr = 0.001(默认参数)

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第9张图片

6. 修改model->256, batch_size修改为1024【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第10张图片

7. 网络从1024->256

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第11张图片

8. 512->128

【李宏毅2021机器学习深度学习】2-1 Phoneme Classification【hw2】_第12张图片

你可能感兴趣的:(深度学习_李宏毅,深度学习,机器学习,人工智能)