BatchNorm、L2Norm、LayerNorm

  • 归一化(Batch Normalization): 对每一批数据进行归一化
  • L2 正则化(L2 regularization or L2 norm):强制让模型权重只能取较小的值, 从而避免过拟合
  • Layer Normalization:同一个样本的不同通道做归一化。

你可能感兴趣的:(batch,正则化)