深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]

目录标题

  • 神经网络中的超参数
    • 学习率
    • 超参数优化方法
      • 网格搜索法
      • 随机搜索法
    • 超参数搜索策略
      • 粗搜索
      • 精搜索
    • 超参数的标尺空间

神经网络中的超参数

超参数

  • 网络结构:隐层神经元个数,网络层数,非线性单元选择等
  • 优化相关:学习率、dorpout比率、正则项强度等

学习率

深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第1张图片
学习率过大,训练过程无法收敛
深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第2张图片
学习率偏大,在最小值附近震荡,达不到最优
深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第3张图片
学习率太小,收敛时间较长
深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第4张图片
学习率适中,收敛快、结果好
深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第5张图片

超参数优化方法

网格搜索法

  1. 每个超参数分别取几个值,组合这些超参数值,形成多组超参数;
  2. 在验证集上评估每组超参数的模型性能;
  3. 选择性能最优的模型所采用的那组值作为最终的超参数的值。

深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第6张图片
缺点:横轴3个测试值*纵轴3个测试值=9组实验,将注意力放在了不重要的参数δ

随机搜索法

  1. 参数空间内随机取点,每个点对应一组超参数;
  2. 在验证集上评估每组超参数的模型性能;
  3. 选择性能最优的模型所采用的那组值作为最终的超参数的值。
    深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第7张图片
    优点:横轴9个测试值&纵轴9个测试值=9组实验

超参数搜索策略

粗搜索

利用随机法在较大范围里采样超参数,训练一个周期,依据验证集正确率缩小超参数范围

深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第8张图片

精搜索

利用随机法在前述缩小的范围内采样超参数,运行模型五到十个周期,选择验证集上精度最高的那组超参数

深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第9张图片

超参数的标尺空间

例:假设最优值在0.0001到1之间,如果在0-1之间采样,90%会在0.1-1之间。
深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第10张图片
最优的值在[0.0001,1]之间,我们该如何采样?
建议:对于学习率、正则项强度这类超参数,在对数空间上进行随机采样更合适!
深度学习-全连接神经网络-训练过程-模型正则与超参数调优- [北邮鲁鹏]_第11张图片在1~0的量级范围内,差别不大,不敏感,所以一般在log对数空间上进行随机采样。

在log空间上,0.0001-0.001-0.01-0.1-1之间的间隔是等距的

你可能感兴趣的:(深度学习,深度学习,神经网络,人工智能)