深度学习概念、参数理解:iteration, batch_size, epoch, learning rate, weight_decay
关于iteration,batch_size,epoch:神经网络在训练数据集上跑一遍,称为一次迭代(iteration)但是一次迭代如果把数据集中的数据都跑一遍,速度会很慢,所以一次iteration只使用部分数据,这个数目就称为batch_size不过这样的话,一次迭代就不一定能完整的跑完数据集中的所有数据了,这时候如果比较iteration就没啥意义了,所以又提出了epoch这个概念,如果说