深度学习(五)——DRN, Bi-directional RNN, Attention, seq2seq, DMN
https://antkillerfarm.github.io/神经元激活函数进阶ReLU的缺点(续)为了解决上述问题,人们提出了LeakyReLU、PReLU、RReLU、ELU、Maxout等ReLU的变种。参考:https://zhuanlan.zhihu.com/p/22142013深度学习中的激活函数导引http://blog.csdn.net/u012328159/article/de