[Keras] 错误之ValueError: Unknown activation function:******

在使用keras加载模型时，例如load_model, model_from_json等，如果模型存在keras未定义的激活函数、层等会导致未知错误，例如错误可能是：

ValueError: Unknown activation function:swish_activation

ValueError: Unknown layer:FixedDropout

解决思路有两种：

一是使用代码构建模型model = model_build(...)，而不是直接加载模型；

二是在加载模型时指定这些结构对象，并提前定义好。但是怎么定义呢？直接去构建模型的代码里找相应的对象即可，或者搜索。

1、定义结构对象：

from keras import backend as K
from keras.utils.generic_utils import get_custom_objects  # tensorflow.keras.generic_utils
from keras.layers import Activation

# 函数
def swish_activation(x):
        return (K.sigmoid(x) * x)

# 类
class FixedDropout(layers.Dropout):
    def _get_noise_shape(self, inputs):
        if self.noise_shape is None:
            return self.noise_shape

        symbolic_shape = backend.shape(inputs)
        noise_shape = [symbolic_shape[axis] if shape is None else shape
                       for axis, shape in enumerate(self.noise_shape)]
        return tuple(noise_shape)

2、加载模型时指定自定义的结构对象：

from keras_bert import get_custom_objects

# load_model
from keras.models import load_model
model = load_model(model_path, custom_objects=get_custom_objects(
    'swish_activation': swish_activation, 'FixedDropout': FixedDropout))

# model_from_json
from keras.models import model_from_json
model = model_from_json(model_string, custom_objects=get_custom_objects(
    'swish_activation': swish_activation, 'FixedDropout': FixedDropout))

参考：

1、Implementing Swish Activation Function in Keras

2、ValueError: Unknown activation function:swish_activation

3、Keras读取保存的模型时, 产生错误[ValueError: Unknown activation function:relu6]

4、Keras load_model raise ValueError: Unknown layer: TokenEmbedding问题