每次迭代，loss的波动很大的解决办法

每次迭代，loss的波动很大，有如下几方面：

（1）学习率选取较大；
（2）在loss不再下降的时候降低学习率；
（3）每个epoch训练之前，对数据进行重新打乱，如果你的 batch 的内容和顺序都是固定的，可能造成模型 overfit 这个顺序；
（4）各个 batch 的 loss 有不同是正常的，但如果波动太大，可能说明你的各个 batch 不是 homogeneous 的（即内容差别太大），不能代表整体数据。可以试试加大 batch size。

总结就是：

当loss不下降时，降低学习率，一般降低到原来的0.1，在每个epoch开始之前，均打乱一次数据，适当增大batch_size的大小。