transformers 的使用

一.配置环境

在 抱抱脸 网址 上发布了很多已经训练好的模型，基本上大量的NLP模型都在，一开始是发布 transformers 的开源库，但后来连接了开发者和使用者。
https://huggingface.co/

在安装 transformers 前，需要先安装Flax，PyTorch，TensorFlow其中之一

pip install transformers 

官方教程网址

二.使用

从 https://huggingface.co 上下载 sentiment-analysis（情感分析）模型
方法1：transformers.pipline

from transformers import pipeline

a = pipeline('sentiment-analysis')
a('i like you')

方法2：transformers通用方法，直接加载模型

from transformers import AutoTokenizer

model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
tokenizer = AutoTokenizer.from_pretrained(model_name)

encoding = tokenizer("I am very happy to learning Transformers library.")
print(encoding)

三.本地加载

调用方法直接下载模型时，经常会下载很久甚至失败.
而且由于from_pretrained方法自动将下载的模型保存至root/.cache/huggingface/transformers文件夹下。
为了解决这个问题，下面我们将实现“下载huggingface-transformers模型至本地，并使用from_pretrained方法加载”
1.下载huggingface_hub包

pip install huggingface_hub

2.编写python脚本下载模型
repo_id含义为模型在huggingface的路径，allow_patterns为你想要下载的文件（因为repo_id目录下文件很多，你可以通过此参数下载自己想要的文件），local_dir含义为模型保存在本地的路径。

from huggingface_hub import snapshot_download

snapshot_download(repo_id="nlptown/bert-base-multilingual-uncased-sentiment", allow_patterns=["*.json", "pytorch_model.bin", "vocab.txt"], local_dir="D:\\xxx\\my_model\\")

Hugging Face官方教程
https://huggingface.co/docs/huggingface_hub/v0.13.3/guides/download

3.加载模型

#下载完模型的加载地址
from transformers import AutoTokenizer

model_name = "D:\\xxx\\my_model\\"
tokenizer = AutoTokenizer.from_pretrained(model_name)
encoding = tokenizer("I am very happy to learning Transformers library.")
print(encoding)

参考
transformers，抱抱脸 Hugging Face教程
全民AI计划：快来尝试你的第一个AI程序
下载huggingface-transformers模型至本地，并使用from_pretrained方法加载

【NLP算法】介绍四种常用的模型调用方法|中文文本生成