nn.ReLU与nn.LeakyReLU的区别

nn.ReLU(inplace=True)的理解:inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出。

ReLU函数即小于0的就等于0,大于0的就等于原函数.=max(0,x)=

LeakyReLu的函数为

你可能感兴趣的:(nn.ReLU与nn.LeakyReLU的区别)