[Keras] 使用Keras编写自定义网络层（layer）

Keras提供众多常见的已编写好的层对象，例如常见的卷积层、池化层等，我们可以直接通过以下代码调用：

# 调用一个Conv2D层
from keras import layers
conv2D = keras.layers.convolutional.Conv2D(filters,\
kernel_size, \
strides=(1, 1), \
padding='valid', \
...)

但是在实际应用中，我们经常需要自己构建一些层对象，已满足某些自定义网络的特殊需求。
幸运的是，Keras对自定义层提供了良好的支持。

下面对常用方法进行总结。

方法1：keras.core.lambda()

如果我们的自定义层中不包含可训练的权重，而只是对上一层输出做一些函数变换，那么我们可以直接使用keras.core模块（该模块包含常见的基础层，如Dense、Activation等）下的lambda函数：

keras.layers.core.Lambda(function, output_shape=None, mask=None, arguments=None)

参数说明：
function：要实现的函数，该函数仅接受一个变量，即上一层的输出
output_shape：函数应该返回的值的shape，可以是一个tuple，也可以是一个根据输入shape计算输出shape的函数
mask: 掩膜
arguments：可选，字典，用来记录向函数中传递的其他关键字参数

但是多数情况下，我们需要定义的是一个全新的、拥有可训练权重的层，这个时候我们就需要使用下面的方法。

方法2: 编写Layer继承类

keras.engine.topology中包含了Layer的父类，我们可以通过继承来实现自己的层。
要定制自己的层，需要实现下面三个方法

build(input_shape)：这是定义权重的方法，可训练的权应该在这里被加入列表self.trainable_weights中。其他的属性还包括self.non_trainabe_weights（列表）和self.updates（需要更新的形如（tensor,new_tensor）的tuple的列表）。这个方法必须设置self.built = True，可通过调用super([layer],self).build()实现。

call(x)：这是定义层功能的方法，除非你希望你写的层支持masking，否则你只需要关心call的第一个参数：输入张量。

compute_output_shape(input_shape)：如果你的层修改了输入数据的shape，你应该在这里指定shape变化的方法，这个函数使得Keras可以做自动shape推断。

一个比较好的学习方法是阅读Keras已编写好的类的源代码，尝试理解其中的逻辑。

下面，我们将通过一个实际的例子，编写一个自定义层。
出于学习的目的，在该例子中，会添加一些的注释文字，用以解释一些函数功能。

该层结构来源自DenseNet，代码参考Github。

from keras.layers.core import Layer
from keras.engine import InputSpec
from keras import backend as K
try:
    from keras import initializations
except ImportError:
    from keras import initializers as initializations
# 继承父类Layer
class Scale(Layer):
    '''
    该层功能：
        通过向量元素依次相乘（Element wise multiplication）调整上层输出的形状。
        out = in * gamma + beta,
        gamma代表权重weights，beta代表偏置bias
    参数列表：
        axis: int型，代表需要做scale的轴方向，axis=-1 代表选取默认方向（横行）。
        momentum: 对数据方差和标准差做指数平均时的动量.
        weights: 初始权重，是一个包含两个numpy array的list, shapes:[(input_shape,), (input_shape,)]
        beta_init: 偏置量的初始化方法名。(参考Keras.initializers.只有weights未传参时才会使用.
        gamma_init: 权重量的初始化方法名。(参考Keras.initializers.只有weights未传参时才会使用.
    '''
    def __init__(self, weights=None, axis=-1, beta_init = 'zero', gamma_init = 'one', momentum = 0.9, **kwargs):
        # 参数**kwargs代表按字典方式继承父类
        self.momentum = momentum
        self.axis = axis
        self.beta_init = initializers.Zeros()
        self.gamma_init = initializers.Ones()
        self.initial_weights = weights
        super(Scale, self).__init__(**kwargs)

    def build(self, input_shape):
        self.input_spec = [InputSpec(shape=input_shape)]
        # 1：InputSpec(dtype=None, shape=None, ndim=None, max_ndim=None, min_ndim=None, axes=None)
        #Docstring:     
        #Specifies the ndim, dtype and shape of every input to a layer.
        #Every layer should expose (if appropriate) an `input_spec` attribute:a list of instances of InputSpec (one per input tensor).
        #A None entry in a shape is compatible with any dimension
        #A None shape is compatible with any shape.

        # 2:self.input_spec: List of InputSpec class instances
        # each entry describes one required input:
        #     - ndim
        #     - dtype
        # A layer with `n` input tensors must have
        # an `input_spec` of length `n`.

        shape = (int(input_shape[self.axis]),)

        # Compatibility with TensorFlow >= 1.0.0
        self.gamma = K.variable(self.gamma_init(shape), name='{}_gamma'.format(self.name))
        self.beta = K.variable(self.beta_init(shape), name='{}_beta'.format(self.name))

        self.trainable_weights = [self.gamma, self.beta]

        if self.initial_weights is not None:
            self.set_weights(self.initial_weights)
            del self.initial_weights

    def call(self, x, mask=None):
        input_shape = self.input_spec[0].shape
        broadcast_shape = [1] * len(input_shape)
        broadcast_shape[self.axis] = input_shape[self.axis]

        out = K.reshape(self.gamma, broadcast_shape) * x + K.reshape(self.beta, broadcast_shape)
        return out

    def get_config(self):
        config = {"momentum": self.momentum, "axis": self.axis}
        base_config = super(Scale, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

以上就是编写自定义层的实例，可以直接添加到自己的model中。
编写好的layer自动存放在custom_layers中，通过import调用。

from custom_layers import Scale

def myNet(growth_rate=32, \
nb_filter=64, \
reduction=0.0, \
dropout_rate=0.0, weight_decay=1e-4,...)

...
x = "last_layer_name"
x = Scale(axis=concat_axis, name='scale')(x)
...

model = Model(input, x, name='myNet')
return model