一、simbert介绍和下载
simbert模型，是由苏剑林开发的模型，以Google开源的BERT模型为基础，基于微软的UniLM思想设计了融检索与生成于一体的任务，来进一步微调后得到的模型，所以它同时具备相似问生成和相似句检索能力。
SimBERT属于有监督训练，训练语料是自行收集到的相似句对，通过一句来预测另一句的相似句生成任务来构建Seq2Seq部分，然后前面也提到过[CLS]的向量事实上就代表着输入的句向量，所以可以同时用它来训练一个检索任务。
开源地址：https://github.com/ZhuiyiTechnology/simbert
项目介绍：https://kexue.fm/archives/7427
已预训练的模型包含 Tiny（26M）、Small（49M）、Base（344M）三个模型。
下载：
https://github.com/ZhuiyiTechnology/pretrained-models
Tiny下载路径、Small下载路径、Base下载路径
适合创建相似文本集
>>> gen_synonyms(u'微信和支付宝哪个好？')
[
u'微信和支付宝，哪个好?',
u'微信和支付宝哪个好',
u'支付宝和微信哪个好',
u'支付宝和微信哪个好啊',
u'微信和支付宝那个好用？',
u'微信和支付宝哪个好用',
u'支付宝和微信那个更好',
u'支付宝和微信哪个好用',
u'微信和支付宝用起来哪个好？',
...........
]
二、项目使用
2.1 创建conda 环境
1）查看虚拟环境
(base) C:\Users\user>conda info -e
# conda environments:
#
base * D:\Programs\Anaconda3
pytorch D:\Programs\Anaconda3\envs\pytorch
2）创建虚拟环境
(base) C:\Users\user>conda create -n simbert
3）安装依赖包
因bert4keras的版本要求，推荐版本见：tensorflow 1.14 + keras 2.3.1 + bert4keras 0.7.7
版本 说明见：https://github.com/bojone/bert4keras
(base) C:\Users\user>conda activate simbert
(simbert) C:\Users\user>conda install keras
(simbert) C:\Users\user>pip install bert4keras
(simbert) C:\Users\user>pip install tensorflow
卸载安装错误的情况：
(simbert) C:\Users\user>pip uninstall tensorflow
(simbert) C:\Users\user>pip uninstall bert4keras
重新安装
conda create -n simbert python=3.6
(simbert) C:\Users\user>conda install tensorflow==1.14
(simbert) C:\Users\user>conda install keras==2.3.1
(simbert) C:\Users\user>pip install bert4keras==0.7.7
4）验证安装情况
from keras.layers import *
from bert4keras.backend import keras, K
2.2使用simbert进行测试验证
1）下载测试代码
https://github.com/ZhuiyiTechnology/pretrained-models/blob/master/examples/simbert_base.py
#! -*- coding: utf-8 -*-
# SimBERT base 基本例子
# 测试环境：tensorflow 1.14 + keras 2.3.1 + bert4keras 0.7.7
import numpy as np
from collections import Counter
from bert4keras.backend import keras, K
from bert4keras.models import build_transformer_model
from bert4keras.tokenizers import Tokenizer
from bert4keras.snippets import sequence_padding, AutoRegressiveDecoder
from bert4keras.snippets import uniout
from keras.layers import *
maxlen = 32
# bert配置
config_path = './bert/chinese_simbert_L-12_H-768_A-12/bert_config.json'
checkpoint_path = './bert/chinese_simbert_L-12_H-768_A-12/bert_model.ckpt'
dict_path = './bert/chinese_simbert_L-12_H-768_A-12/vocab.txt'
# 建立分词器
tokenizer = Tokenizer(dict_path, do_lower_case=True) # 建立分词器
# 建立加载模型
bert = build_transformer_model(
config_path,
checkpoint_path,
with_pool='linear',
application='unilm',
return_keras_model=False,
)
encoder = keras.models.Model(bert.model.inputs, bert.model.outputs[0])
seq2seq = keras.models.Model(bert.model.inputs, bert.model.outputs[1])
class SynonymsGenerator(AutoRegressiveDecoder):
"""seq2seq解码器
"""
@AutoRegressiveDecoder.set_rtype('probas')
def predict(self, inputs, output_ids, step):
token_ids, segment_ids = inputs
token_ids = np.concatenate([token_ids, output_ids], 1)
segment_ids = np.concatenate(
[segment_ids, np.ones_like(output_ids)], 1)
return seq2seq.predict([token_ids, segment_ids])[:, -1]
def generate(self, text, n=1, topk=5):
token_ids, segment_ids = tokenizer.encode(text, max_length=maxlen)
output_ids = self.random_sample([token_ids, segment_ids], n, topk) # 基于随机采样
return [tokenizer.decode(ids) for ids in output_ids]
synonyms_generator = SynonymsGenerator(start_id=None,
end_id=tokenizer._token_end_id,
maxlen=maxlen)
def gen_synonyms(text, n=100, k=20):
""""含义： 产生sent的n个相似句，然后返回最相似的k个。
做法：用seq2seq生成，并用encoder算相似度并排序。
"""
r = synonyms_generator.generate(text, n)
r = [i for i in set(r) if i != text]
r = [text] + r
X, S = [], []
for t in r:
x, s = tokenizer.encode(t)
X.append(x)
S.append(s)
X = sequence_padding(X)
S = sequence_padding(S)
Z = encoder.predict([X, S])
Z /= (Z**2).sum(axis=1, keepdims=True)**0.5
argsort = np.dot(Z[1:], -Z[0]).argsort()
return [r[i + 1] for i in argsort[:k]]
"""
gen_synonyms(u'微信和支付宝哪个好？')
[
u'微信和支付宝，哪个好?',
u'微信和支付宝哪个好',
u'支付宝和微信哪个好',
u'支付宝和微信哪个好啊',
u'微信和支付宝那个好用？',
u'微信和支付宝哪个好用',
u'支付宝和微信那个更好',
u'支付宝和微信哪个好用',
u'微信和支付宝用起来哪个好？',
u'微信和支付宝选哪个好',
u'微信好还是支付宝比较用',
u'微信与支付宝哪个',
u'支付宝和微信哪个好用一点？',
u'支付宝好还是微信',
u'微信支付宝究竟哪个好',
u'支付宝和微信哪个实用性更好',
u'好，支付宝和微信哪个更安全？',
u'微信支付宝哪个好用？有什么区别',
u'微信和支付宝有什么区别？谁比较好用',
u'支付宝和微信哪个好玩'
]
"""
# print(gen_synonyms(u'微信和支付宝哪个好？'))
print("-----------------------------------")
print(gen_synonyms(u'apache-ywn-int部署在哪一台主机呢？', n=100, k=10))
2）目录结构
将下载的simbert预训练模型，放在项目中
(simbert_test) D:\tmp\20220508\simbert_base>tree /F
卷 新加卷 的文件夹 PATH 列表
卷序列号为 549E-27B0
D:.
│ simbert_base.py
│
└─bert
│ chinese_simbert_L-12_H-768_A-12.zip
│
└─chinese_simbert_L-12_H-768_A-12
bert_config.json
bert_model.ckpt.data-00000-of-00001
bert_model.ckpt.index
checkpoint
vocab.txt
3）执行脚本
python simbert_base.py
['apache-ywn-int的部署在哪一台主机上呢', 'apache-ywn-int部署在哪一台主机', 'apache-ywn-int部署在哪台主机', 'apache ywn-int部署在哪一个主机上', 'apache-ywn-int部署到哪一台主机', 'apache中ywn-int部署在哪个主机', 'apache的ywn-int在哪一台主机', '如何查看apache-ywn-int是否部署在哪个主机里', 'apache-ywn-int部署到哪个服务器上', 'apache ywn-int是怎么部署在哪一个服务器上']
有些输出并不一定准确，有一定的参考意义。
由于tensorflow的版本较低，会出现以下过期提醒信息，不影响运行
D:\Programs\Anaconda3\envs\simbert\lib\site-packages\tensorboard\compat\tensorflow_stub\dtypes.py:541: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
_np_qint8 = np.dtype([("qint8", np.int8, 1)])
说明：性能并不高，如果要用于生产环境，还需要基于实际硬件设备进行验证。