深度学习参数&&超参数以及batchsize、epoch、迭代

参数:模型根据数据可以自动学习出的变量。如权重,偏差等
超参数:根据经验进行设定,会影响到权重和偏置的大小,如迭代次数、隐藏层的层数、每层神经元的个数、学习速率等。
batchsize:批大小(批尺寸),在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本进行`训练。
iteration:(迭代),1个iteration等于使用batchsize个样本训练一次;一个迭代 = 一个正向通过+一个反向通过。
epoch:迭代次数,1个epoch等于使用训练集中的全部样本训练一次;一个epoch = 所有训练样本的一个正向传递+一个反向传递。

训练集有2000个样本,batchsize=10,那么训练完整个样本集需要:200次iteration,1次epoch。

你可能感兴趣的:(pytorch,深度学习,机器学习,人工智能)