keras搬砖系列-调参经验

keras搬砖系列-调参经验

1,观察 loss胜于观察准确率, loss设计要比较合理,对比训练集和验证集的 loss
2, relu可以很好的防止梯度弥散的问题,当然最后一层激活函数尽量别用 relu,如果分类则用 softmax
3, BatchNorm 可以大大加快训练速度和模型的性能
4, Dropout防止过拟合,可以直接设置为0.5,一半一半,测试的时候把 Dropout关掉
5, Loss选择,一般来说分类就是 softmax,回归就是L2的loss,但是loss的错误范围(主要是回归)预测一个 10000的值,模型输出为0
6,准确率是一个评测指标,但是训练过程中loss你会发现有些情况,准确率是突变的,原来一直是0,可能保持上千迭代,然后变1。而loss不会有那么诡异的发生,毕竟优化目标为loss
7,学习率设置得合理,太大 loss爆炸,太小则没有反应
8,对不训练集和验证集的 loss,判断过拟合,训练是否足够,是否需要 Early Stop

此文全抄自别处。。。

你可能感兴趣的:(keras搬砖系列-调参经验)