六步走构建深度学习模型

第1步：损失函数

• 回归问题用MSE
• 多类别分类问题用交叉熵
• 二分类问题用二值交叉熵

第2步：初始神经网络架构

• 结构化学习：一个激活数在输入输出神经元数之间的全连接层
• 计算机视觉：从ResNet开始

第3步：训练集

• 用learning rate finder来选学习率
• Adam优化
• 余弦学习率衰减
• 学习率重启
• 如果做迁移学习，尝试一下可微分学习率
• 隐藏层的神经元数量
• minibatch大小
• 隐藏层数量

第4步：验证集

• Dropout

• L2正则化

• 输入特征归一化

• 批量归一化

• 数据扩增

• 为训练集补充数据

• 梯度消失或爆炸

• He初始化

• 用LSTM神经元

• 梯度裁剪

• 调整神经网络架构

第5步：测试集

• 如果有问题，扩大验证集，回到第4步

第6步：真实世界

• 如果有问题，换个验证集和测试集，回到第4步

参考：
https://mp.weixin.qq.com/s/zv8Mtch5Klm-qSgyBxI9QQ https://mp.weixin.qq.com/s/miKs4tWu8Hh1yHvx-XZFwg