2021-05-06论文摘要:酷炫的Skip Connection

之前说过每天大概要搞出来5篇paper,结果果然翘了。为了能够搞出来,现在我们就把这些任务放在CSDN上吧。

事实证明,这个世界上有大一堆非常有趣的关于Batch Normalization,Skip Connection之类的东西。下面是几篇文章。

ReZero这篇文章列了几个简单的方法。具体见图:

2021-05-06论文摘要:酷炫的Skip Connection_第1张图片
如果这个不够酷炫的话,那么IC这篇就更有意思了。基本思路是加一个Whitening。

2021-05-06论文摘要:酷炫的Skip Connection_第2张图片
一些其他关于Layernorm的讨论引发了这一堆各种各样的连接法

2021-05-06论文摘要:酷炫的Skip Connection_第3张图片
2021-05-06论文摘要:酷炫的Skip Connection_第4张图片
关于这个,Facebook不太高兴,于是在训练更深的Transformer中加了这些方法。

2021-05-06论文摘要:酷炫的Skip Connection_第5张图片
当然,最终想看看这些东西有多疯的话,我们看看这个吧

2021-05-06论文摘要:酷炫的Skip Connection_第6张图片

你可能感兴趣的:(人工智能)