深度学习——深度神经网络的调试笔记

1 模型的快速验证

1.1 确定模型是可以收敛的

在刚开始调试的时候，可能难以确定模型是否收敛，这时候可以在调试的时候，适当地增加学习率的数量级，看看模型在前几次迭代的时候loss是否会随着迭代次数的增加呈10倍左右的下降，如果观察到loss的值可以“10倍左右”可见的速度下降，则说明模型是可以收敛的，此时loss函数的设计大概率是正常的，可以将学习率调回正常值继续进行测试；

2 Early Stop策略的使用

2.1 Early Stop的评价指标

loss值的累加值；

训练集的mAP；

测试集的mAP；

2.2 Early stop的探索次数——26次

Early stop的探索次数我们设置为26次，这个是如何得来的呢？

我们首先把探索成功和不成功的概率假设为0.5，我们设置探索行动的阈值为99.999%，

则计算探索次数的方法如下：

于是，我们选择了一个好记一点的数字也就是26次；