离线使用huggingface bert对文本编码

1.到huggingface官网找到想使用的模型
https://huggingface.co/
以‘bert-base-uncased’为例

2.下载以下几个文件放到名为bert-base-uncased的文件夹中

3.使用以下代码获得词编码

from transformers import BertModel,BertTokenizer
checkpoint='/data1/xsy/transformers/bert-base-uncased'
tokenizer=BertTokenizer.from_pretrained(checkpoint)
caption =tokenizer.encode(caption,padding='max_length', max_length=72, truncation=True)#获得id
bert =  BertModel.from_pretrained(checkpoint)
y = bert(caption, return_dict=True).last_hidden_state#获得编码