Batch normalization and layer normalization

batch normalization 多用于CNN或者NLP。是对Batch数据的不同维度单独进行正则化。对于单一的测试数据问题较多。

Layer normalization是对同一个数据的不同维度进行正则化,和Batch没有关系。

Ref:
https://zhuanlan.zhihu.com/p/54530247
https://www.youtube.com/watch?v=BZh1ltr5Rkg

你可能感兴趣的:(Batch normalization and layer normalization)