tensorflow2.x学习笔记二十二：tensorflow(keras)常用激活层

一、LeakyReLU

'''
它的计算公式是：f(x) = alpha * x for x < 0, 
              f(x) = x for x >= 0.
'''
tf.keras.layers.LeakyReLU(
    alpha=0.3, **kwargs
)

二、Softmax

'''
axis：用来设置对哪一个轴进行操作
'''
tf.keras.layers.Softmax(
    axis=-1, **kwargs
)

Softmax计算公式如下，作用是将输出变成概率分布

三、ReLU

'''
它的计算公式：f(x) = max_value for x >= max_value, 
            f(x) = x for threshold <= x < max_value, 
            f(x) = negative_slope * (x - threshold) otherwise.
'''
tf.keras.layers.ReLU(
    max_value=None, negative_slope=0, 
    threshold=0, **kwargs
)

四、PReLU

'''
它的计算公式是：f(x) = alpha * x for x < 0, 
              f(x) = x for x >= 0.
并且这个alpha 是和x具有相同形状的可学习的参数

shared_axes：指定用于共享激活函数可学习参数alpha的轴
'''
tf.keras.layers.PReLU(
    alpha_initializer='zeros', alpha_regularizer=None, 
    alpha_constraint=None,shared_axes=None, **kwargs
)

五、ELU

'''
它的计算公式：f(x) = alpha * (exp(x) - 1.) for x < 0, 
            f(x) = x for x >= 0.
'''
tf.keras.layers.ELU(
    alpha=1.0, **kwargs
)