使用bert 快速进行 词嵌入word2vec教程

word2vec:

	就是将 一个词或者一个句子映射到一个高维空间,得到一组向量

最近遇到一个任务,需要对特定的语句key 去 提取相应的 value:
比如从 一个身份证 ocr 结果中, 输入 姓名 得到对应 人的名字
一想到这里, 为了能够从 姓名 这个词组 box 得到 人名 box 结果, 除了从相对位置入手,词语之间的关联性也是一个入手点。

google 已经将预训练模型放出来在官方的github上面了,利用预训练模型,进行词嵌入是一件简单的事情:

  1. 下载预训练模型: 链接:https://github.com/google-research/bert#pre-trained-models
    我是用的是 BERT-Base, Chinese
    解压
  2. 安装包:
pip install tensorflow-gpu==1.15
pip install -U bert-serving-server bert-serving-client
  1. 启动:
bert-serving-start -model_dir /path_to_the_model/ -num_worker=1
  1. 预测 词嵌入:
from bert-serving.client import BertClient()
client = BertClient()
vectors = client.encode(['dog', 'cat','man'])
  1. 计算相似度:
from service.client import BertClient
import numpy as np
bc = BertClient()
def cosine(a,b):
    return a.dot(b)/(np.linalg.norm(a)*np.linalg.norm(b))
vectors=np.array(bc.encode(['First do it', 'then do it right']))
print(['First do it', 'then do it right'],":",cosine(vectors[0],vectors[1]))

结果:
['First do it', 'then do it right'] : 0.92645866

你可能感兴趣的:(人工智能,word2vec,词嵌入,bert)