如何下载huggingface的模型和权重

使用python脚本

#使用huggingface_hub，好处是可以看到下载速度，以及过滤不想下载的文件
#下载的文件放在~/.cache/huggingface下，且文件名都被改掉了
from huggingface_hub import snapshot_download
snapshot_download(repo_id="t5-3b", ignore_patterns=["*.h5", "*.ot", "*.msgpack"])

#使用transformers
#下载的文件放在~/.cache/huggingface下，且文件名都被改掉了
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForMaskedLM.from_pretrained("bert-base-uncased")

使用git

#安装git lfs
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

#下载模型权重
git clone https://huggingface.co/t5-3b
#有的时候会出现下载很慢的问题，可以搭建/设置国外的代理，如
export http_proxy=127.0.0.1:8082 && export https_proxy=127.0.0.1:8082

直接点击网页的下载按钮