中文应用bert

中文应用bert

调用腾讯AILab 实验室开源的bert-as-service代码
首先下载bert中文预训练模型

环境配置

pip install bert-serving-server  # server
pip install bert-serving-client  # client, independent of `bert-serving-server`

启动bert-serving-server

cd bert
bert-serving-start -model_dir ./chinese_L-12_H-768_A-12 -num_worker 1 -max_seq_len 100 

新开一个shell，相当于开一个客户端

from bert_serving.client import BertClient
bc = BertClient(ip='localhost',check_version=False, check_length=False)
vec = bc.encode(['CSDN中文IT知识服务集团，业务有IT信息传播、技术交流、教育培训和专业技术人才服务。旗下有网络社区、学习平台和交流平台。'])
print(vec)