使用Huggingface镜像站hf-mirror.com下载资源

前言

在使用Huggingface的过程中,有时我们可能会遇到无法访问官方网站huggingface.co的情况,这可能是由于网络监管或者网络连接问题所致。然而,幸运的是,我们可以通过hf-mirror.com这个Huggingface镜像站来解决这个问题。本篇博客将详细介绍hf-mirror.com网站的内容和使用方法。
使用Huggingface镜像站hf-mirror.com下载资源_第1张图片

hf-mirror.com是什么?

hf-mirror.com是Huggingface的镜像网站,它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器,可以帮助我们绕过无法访问huggingface.co的限制,正常地获取所需的模型和数据集。

hf-mirror.com的特点和优势

  • 支持断点续传:使用hf-mirror.com下载模型时,如果网络中断,我们可以通过断点续传功能避免文件损坏,从而节省时间和流量。
  • 多文件并行下载:hf-mirror.com默认支持多文件并行下载,这意味着我们可以更快地下载所需的模型和数据集。
  • 支持Gated Model下载:对于需要登录的模型(Gated Model),我们可以通过添加–token hf_***参数来进行下载,其中hf_***是访问令牌,可以在huggingface官网获取。

使用hf-mirror.com下载模型的步骤

  • 安装依赖:首先,我们需要安装huggingface-cli命令行工具,可以使用以下命令进行安装:pip install -U huggingface_hub
  • 设置镜像endpoint:在下载模型之前,我们需要设置镜像endpoint,可以使用以下命令进行设置:export HF_ENDPOINT=https://hf-mirror.com
  • 下载模型:使用huggingface-cli的download命令可以下载模型,例如:huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

其他使用方式

  1. 下载需要登录的模型以及使用脚本下载等方法详见参考链接[2]。
  2. 根目录.cache空间不足时使用--cache-dir传参更改下载缓存路径,例如:
 huggingface-cli download --resume-download --local-dir-use-symlinks False stabilityai/stable-diffusion-xl-base-1.0 --local-dir stabilityai --cache-dir stabilityai.cache
  1. 更多功能支持可查阅 huggingface-cli download --help

总结

hf-mirror.com是Huggingface的镜像网站,为用户提供了一个备用的访问通道,解决了无法访问huggingface.co的问题。通过hf-mirror.com,我们可以正常地下载所需的模型和数据集,享受Huggingface提供的强大功能。

版权说明

本文为原创文章,部分内容基于GPT工具撰写,独家发布在blog.csdn.net/TracelessLe。未经个人允许不得转载。如需帮助请email至[email protected]或扫描个人介绍栏二维码咨询。
使用Huggingface镜像站hf-mirror.com下载资源_第2张图片

参考资料

[1] 如何看待huggingface.co已无法访问? - 知乎
[2] hf-mirror.com - Huggingface 镜像站
[3] 第十五篇-推荐-Huggingface-镜像-2023-10_huggingface镜像-CSDN博客
[4] huggingface stabilityai/stable-diffusion-xl-base-1.0

你可能感兴趣的:(#,深度学习框架,人工智能,AIGC,gpt,hugging,face)