关于Residual Connection

大家都知道ResNet(所以下次培训机构在8888搞定resnet时候就别去了),但是其实那个ResNet这个玩意有很多很有意思的东西。

不说多了,第一篇论文ReZero里面讲了一些对ResNet的改进,注意里面有个综述部分。相当好玩。

第二篇论文更有意思,Rethinking Skip Connection with Layer Normalization考虑了一个其实很重要的问题,就是LayerNorm的问题。Batch Normalization的算法其实水很深,并且有时候能起奇效。

最关键,这俩玩意改起来都容易,所以小伙伴可以尝试一下~

你可能感兴趣的:(人工智能)