tf.keras.layers.TextVectorization层介绍及自定义分词器

首先上代码：

@tf.keras.utils.register_keras_serializable('my_package')
def mysplit(inputs):
    return tf.strings.split(inputs)
input3 = tf.keras.layers.Input(shape=(1,),name="string_test",dtype=tf.string)
my_string_lookup = tf.keras.layers.TextVectorization(vocabulary=["世界","你","good", "d"],split=mysplit)(input3)
model = tf.keras.Model(inputs=[input3], outputs=my_string_lookup)
model.save("mytest.h5")
my_model = tf.keras.models.load_model("mytest.h5")
print(my_model.predict(["世界 你 good ya"]))

1. TextVectorization是相对于StringLookup更为复杂的文本处理层，除了支持StringLookup对词库的各种编码方式（indices、one-hot、tf-idf、count）外，还支持对构造词库和请求内容时的标准化、自动分词、去除标点服务、去重多余空格等处理。

2. 其中标准化、自动分词都可以通过自定义方式进行处理，但是自定义的处理算子需要进行序列化装饰器进行装饰：tf.keras.utils.register_keras_serializable

下一篇文章会给大家介绍关于如何通过StringLookup或TextVectorization的indices方法进行快速的embedding：tf.nn.embedding_lookup