Keras中模型训练、测试、改进技巧总结

观察模型的效果

1. 训练集的准确率accuracy应该会高于测试集

Keras中模型训练、测试、改进技巧总结_第1张图片

 2. 观察训练轮数epoch与准确率accuracy、损失loss的关系Keras中模型训练、测试、改进技巧总结_第2张图片

改进网络的方法 

1. 增加隐藏层改进简单的网络

Keras中模型训练、测试、改进技巧总结_第3张图片

2. 使用dropout进一步改进简单网络 

Keras中模型训练、测试、改进技巧总结_第4张图片

3. 选择更好的优化器optimizer

 

Keras中模型训练、测试、改进技巧总结_第5张图片

 

 4. 增加训练轮数epoch  

Keras中模型训练、测试、改进技巧总结_第6张图片

5. 控制优化器的学习率

Keras中模型训练、测试、改进技巧总结_第7张图片

 

  6. 增加内部隐藏神经元的数量

Keras中模型训练、测试、改进技巧总结_第8张图片

Keras中模型训练、测试、改进技巧总结_第9张图片

 7. 增加批处理Batch_size的大小

当batch_size=1时,变成在每个epoch中,每个样本进行一次梯度更新,一共更新n次。

当batch_size=n时(n=样本总数),变成在每个epoch中,所有样本数据进行一次梯度更新,一共更新一次。

当batch_size=k时,变成在每个epoch中,batch_size个样本更新一次梯度,一共更新n/batch_size次。

Keras中模型训练、测试、改进技巧总结_第10张图片

 7. 采用正则化方法避免过拟合

Keras中模型训练、测试、改进技巧总结_第11张图片

Keras中模型训练、测试、改进技巧总结_第12张图片

Keras文档有关正则化内容:

 Keras中模型训练、测试、改进技巧总结_第13张图片

Keras中模型训练、测试、改进技巧总结_第14张图片

8. 超参数调优 

Keras中模型训练、测试、改进技巧总结_第15张图片 用训练好的模型预测

Keras中模型训练、测试、改进技巧总结_第16张图片

 

你可能感兴趣的:(深度学习,Keras)