小白学GAN系列2——nn.ReLU与nn.LeakyReLU的区别

nn.ReLU与nn.LeakyReLU的区别

因为之前从未接触过这方面,直接接手GAN,有点吃力,如有明显漏洞,请指正,我会感激不尽。

昨晚查阅了ReLU的含义,结果今天发现高老师给的代码中又有一个LeakyReLU,所以今天这个小白贴来对比下两者:

下图是ReLU、Leaky ReLU、PReLU和RReLU的比较:

ReLU是将所有的负值都设为零,相反,Leaky ReLU是给所有负值赋予一个非零斜率。

img

可以看到,ReLU函数即小于0的就等于0,大于0的就等于原函数.=max(0,x)=img

LeakyReLu的函数为img

参考链接:https://blog.csdn.net/aizhouqian5537/article/details/101684418?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

https://blog.csdn.net/u011630472/article/details/90210041https://blog.csdn.net/u011630472/article/details/90210041

你可能感兴趣的:(GAN,自然语言处理,pytorch,神经网络)