凡对本文有任何疑惑可加QQ群交流：1081332609
BERT是Google于2018年10月开源的一个自然语言的预训练模型，并在NLP的11项任务上取得了卓越的表现。在网络上拥有大量的模型训练的文章，然而鲜有关于其在生产上部署方法的说明，本文将从零开始，搭建一个BERT+TFserving的从数据准备，到模型训练，到服务端实现，再到客户端实现的全流程模型构建说明。（本文以垃圾邮件分类为例）
项目地址：https://github.com/lvjianjin/bert-tfserving.git
目录结构
bert-tfserving--|--bert(geogle发布的bert项目)
|--chinese_L-12_H-768_A-12（下载的预训练文件）
|--data（训练数据）
|--output（保存的结果）
|--client(客户端)
|--readme.md
数据准备
生成三个训练文件train.csv、dev.csv、test.csv，放在./data文件夹下。其中第一列为训练文本，第二列为文本标签，形式如下图所示。本人也提供了一个从将MySQL数据库获取数据，直接生产三个训练文件的方法，具体实现方式可参见create_data.py。
新增数据处理方法
下载BERT官方代码至项目路径的bert文件夹下，并在run_classifier.py中添加新的数据读取类，用以读取刚才生成的训练数据集。示例代码如下（针对不同模型需要修改最后get_labels中的标签取值）：
class EmailProcessor(DataProcessor):
"""
垃圾邮件（敏感信息）数据处理
用于获取训练集，验证集，测试集和标签的方法
"""
def get_train_examples(self, data_dir):
file_path = os.path.join(data_dir, 'train.csv')
train_df = pd.read_csv(file_path, encoding='utf-8')
train_data = []
for index, train in enumerate(train_df.values):
guid = 'train-%d' % index
text_a = tokenization.convert_to_unicode(str(train[0]))
label = str(train[1])
train_data.append(InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
return train_data
def get_dev_examples(self, data_dir):
file_path = os.path.join(data_dir, 'dev.csv')
dev_df = pd.read_csv(file_path, encoding='utf-8')
dev_data = []
for index, dev in enumerate(dev_df.values):
guid = 'dev-%d' % index
text_a = tokenization.convert_to_unicode(str(dev[0]))
label = str(dev[1])
dev_data.append(InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
return dev_data
def get_test_examples(self, data_dir):
file_path = os.path.join(data_dir, 'test.csv')
test_df = pd.read_csv(file_path, encoding='utf-8')
test_data = []
for index, test in enumerate(test_df.values):
guid = 'test-%d' % index
text_a = tokenization.convert_to_unicode(str(test[0]))
label = str(test[1])
test_data.append(InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
return test_data
def get_labels(self):
return ["0", "1"]
并将新增的数据方法加入执行代码中，
processors = {
"cola": ColaProcessor,
"mnli": MnliProcessor,
"mrpc": MrpcProcessor,
"xnli": XnliProcessor,
"email": EmailProcessor,#垃圾邮件分类
}
模型训练
训练前请先下载官方提供的预训练模型参数，可至本人百度云盘上进行下载（链接：https://pan.baidu.com/s/1QYc5X1aNHRKEmp6mg7nCZA
提取码：qtsb），也可到google官方自行下载其他版本。
预训练文件准备完成之后，即可在项目根路径下执行如下训练语句。
python3 ./bert/run_classifier.py \
--data_dir=./data/ \
--task_name=email \
--vocab_file=./chinese_L-12_H-768_A-12/vocab.txt \
--bert_config_file=./chinese_L-12_H-768_A-12/bert_config.json \
--output_dir=./output/ \
--do_train=true \
--do_eval=true \
--init_checkpoint=./chinese_L-12_H-768_A-12/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=32 \
--learning_rate=5e-5 \
--num_train_epochs=2.0
模型训练完成会显示整体准确率及损失函数的值，训练结果位于output/文件夹中。
TFserving部署前的准备
Tensorflow serving是官方推荐的一种高效的专门用于部署Tensorflow服务的工具。接下来，我将详细说明如何将上述训练好的模型部署成生产环境的服务。首先，我们需要先将训练所生产的ckpt文件转换为TFserving部署所需文件格式。具体代码可参见save_model.py。
其中，请自行修改max_seq_len（最大文本长度）、num_labels（标签个数）。
修改完成后，请在项目根目录下执行该程序，执行命令如下：
python3 ./bert/save_model.py
完成后，即可于output/文件夹下看到一个versions文件夹。
TFserving服务端部署
TFserving服务端的部署推荐使用Docker进行部署，关于Docker的安装可自行百度。安装完docker后，只需先拉取所需镜像：
docker pull tensorflow/serving
然后，即可启动Docker容器服务,其中source后接的是刚才模型生成的versions文件夹对应路径：
docker run --name tfserving-bert \
--hostname tfserving-bert \
-tid \
--restart=on-failure:10 \
-v /etc/timezone:/etc/timezone \
-v /etc/localtime:/etc/localtime \
-p 8501:8501 \
-p 8502:8502 \
--mount type=bind,source=/opts/python-project/bert-class/output/versions,target=/models/versions \
-e MODEL_NAME=versions \
-t tensorflow/serving &
见到如下输出即为服务端建立完成。
客户端实现
TFserving支持两种调用方式，本人实现了对于http的调用方式的封装，代码请见https://github.com/lvjianjin/bert-tfserving/blob/master/client/client.py
，运行该客户端我们就能获得服务端的响应了。