paddlenlp调用ERNIE

安装paddle和paddlenlp

pip安装paddlepaddle和paddlenlp：

pip install paddlepaddle
pip install paddlenlp

下载预训练模型

import paddlenlp 

# 加载ERNIE预训练模型
MODEL_NAME = "ernie-3.0-medium-zh"
ernie_model = paddlenlp.transformers.ErnieModel.from_pretrained(MODEL_NAME)

tokenizer

对文本进行tokenizer处理

model_dir = 'C:\\Users\\cqf\\.paddlenlp\\models\\ernie-3.0-medium-zh'
tokenizer = paddlenlp.transformers.ErnieTokenizer.from_pretrained(model_dir) # MODEL_NAME，第一次加载（本地没有模型）时可以直接指定模型名，会自动下载保存
encoded_text = tokenizer(text=["冬天来了，春天还会远吗？", '秋天来了，一群大雁往南飞。']) # text参数可以是字符串，也可以是多个字符串组成的列表
print(encoded_text) # 结果：{'input_ids': [[1, 196, 1296, 125, 61, 15, 4, 740, 125, 201, 32, 629, 1114, 12045, 2], [1, 1050, 125, 61, 15, 4, 7, 626, 19, 2665, 638, 219, 706, 12043, 2]], 'token_type_ids': [[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]}

获取文本语义特征向量表示

# 将tokenizer的input_ids、token_type_ids转化为tensor
input_ids = paddle.to_tensor(encoded_text['input_ids']) # padding后作为输入
token_type_ids = paddle.to_tensor(encoded_text['token_type_ids'])

# 将tensor形式的input_ids、token_type_ids输入到ERNIE模型，得到输出：
# sequence_output：每个输入token的语义特征表示，shape=(batch_size, seq_len, hidden_size)
# pooled_output：整个句子的语义特征表示，shape=(batch_size, hidden_size)
sequence_output, pooled_output = ernie_model(input_ids, token_type_ids)

print("Token wise output: {}, Pooled output: {}".format(
    sequence_output.shape, pooled_output.shape)) # Token wise output: [2, 15, 768], Pooled output: [2, 768]

中文官方说明文档：https://paddlenlp.readthedocs.io/zh/latest/get_started/quick_start.html
文本分类模型（ErnieForSequenceClassification）实操文档：https://aistudio.baidu.com/aistudio/projectdetail/1294333