Hugging Face怎么通过国内镜像去进行模型下载(hf-mirror.com)

Hugging Face怎么通过国内镜像去进行模型下载(hf-mirror.com)_第1张图片

一、引言

Hugging Face 是一家专注于自然语言处理(NLP)技术的公司,以其开源贡献和先进的机器学习模型而闻名。该公司最著名的产品是 Transformers 库,这是一个广泛使用的 Python 库,它提供了大量预训练模型,如 BERT、GPT-2、T5 和其他模型,这些模型可以用于各种 NLP 任务,如文本分类、情感分析、文本生成等。Hugging Face 还提供一个在线平台,允许社区成员共享和协作他们的模型。这种开源和协作的方法促进了 NLP 领域的创新和发展,使 Hugging Face 成为人工智能研究和应用领域的一个重要玩家。

二、使用huggingface-cli命令行工具

1. pip下载工具

pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple/

这里使用了清华的镜像源进行全局下载。

2. 设置系统环境变量

将系统变量HF_ENDPOINT 设置为 https://hf-mirror.com,然后运行您的脚本,如

export HF_ENDPOINT=https://hf-mirror.com

3. 模型下载

  • 基本命令
huggingface-cli download --resume-download --local-dir-use-symlinks False ${模型在huggingface上的名字} ${模型文件名}.gguf --local-dir ${模型存储路径}
  • Gated Model

        如果需要下载限制访问的模型(Gated Model),则需要添加 --token 参数,并使用在         Hugging Face 官网获得的访问令牌。

huggingface-cli download --token hr_*** --resume-download --local-dir-use-symlinks False ${模型在huggingface上的名字} ${模型文件名}.gguf --local-dir ${模型存储路径}

然后就可以快速下载所需要的模型啦~

你可能感兴趣的:(笔记,hugging,face)