【小样本基础】异质图上的元学习模型:调参记录

Batch Size

  1. 参数爆炸,占用cpu资源过多时,可以适当调小batch size
  2. loss震荡,可以增大batch size
    【小样本基础】异质图上的元学习模型:调参记录_第1张图片
    将batchsize从5增加到50之后,明显平滑
    【小样本基础】异质图上的元学习模型:调参记录_第2张图片

learning Rate

  1. 训练过程中loss和acc抖动很厉害,此时可以考虑将学习率从调小到0.001
    【小样本基础】异质图上的元学习模型:调参记录_第3张图片

Epoch

  1. 当模型已经收敛时(acc不在增加,loss不再减少时),为了加快模型的训练速度,可以适当降低epoch。
  2. 当模型在所有的epoch都结束时,acc仍有上升趋势,loss仍有下降趋势,应该增加epoch。

Dropout

  1. 当出现过拟合现象时,可以增大dropout,从0.1增加到0.5之后,过拟合

你可能感兴趣的:(#,小样本,深度学习,元学习)