Server - 使用网盘快速下载 Hugging Face 大模型

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://blog.csdn.net/caroline_wendy/article/details/131307090

Server - 使用网盘快速下载 Hugging Face 大模型_第1张图片

Hugging Face 是一家专注于自然语言处理(NLP)的公司,提供了多种工具和平台,帮助开发者和研究者构建和部署先进的 NLP 应用。Hugging Face 的核心产品是 Transformers 库,一个开源的 Python 库,包含了数千个预训练的 NLP 模型,涵盖了文本分类、问答、文本生成、情感分析等多个任务。Huggingface 还提供了 Datasets 库,是一个开源的数据集集合,包含了超过 1000 个 NLP 数据集,方便用户快速加载和处理数据。此外,Hugging Face 还有 Spaces 平台,是一个在线的交互式环境,让用户可以轻松地创建、分享和运行 NLP 应用。Hugging Face 的使命是让 NLP 对每个人都开放和易用,推动人类和机器之间的沟通。

目前,很多大模型,如 llama-13b-hf ,都是存放于 Huggingface,但是由于国内的网速原因,导致即使使用 git lfs 下载缓慢,建议直接使用网盘,如百度网盘,连接服务器,进行下载。

1. 下载资源

从网络中,寻找大模型,如 llama-13b-hf 资源,参考,转载至百度网盘。

准备下载工具 GitHub - houtianze/bypy,直接安装即可,

pip install bypy

bypy 可用,输入 bypy info,登录账号,输入验证码 (Authorization Code),即可使用。

Please visit:
https://openapi.baidu.com/oauth/2.0/authorize?client_id=[something]   # 手动访问链接
And authorize this app
Paste the Authorization Code here within 10 minutes.
Press [Enter] when you are done
[Your Authorization Code]   # 从网络上获取的验证码
Authorizing, please be patient, it may take upto 300 seconds...
Quota: 2.005TB
Used: 491.832GB

建议升级 SVIP 提升下载速度

接着,将需要下载文件复制到百度网盘的 pyby 文件夹,已默认创建,位于全部文件 -> 我的应用数据 -> bypybypy即根目录。

下载命令如下:

bypy downdir /decapoda-research-llama-13b-hf/ ./decapoda-research-llama-13b-hf/

文件下载速度较快,约 4 MB/s,这样就可以规避 Huggingface 下载较慢的过程。

2. 合并工程

通过先下载工程,再合并参数的方式,建议使用 git 方式,完成整体工程下载。即

git clone [email protected]:decapoda-research/llama-13b-hf.git

如遇到问题 Error in the pull function,建议 rm ~/.gitconfig 即可。

如需使用 git 方式,需要在 Hugging Face 的账号中,上传 SSH & GPG Keys,即上传 id_rsa.pub 的内容。

同时,在服务器中,上传 id_rsa 文件至 ~/.ssh/id_rsa,同时,修改权限,否则报错,Permissions 0664 for 'id_rsa' are too open.,即:

chmod 400 ~/.ssh/id_rsa

这样即可使用 git 下载链接,进行下载。

复制文件时,使用 cp -af 覆盖已有文件夹,可以完成工程下载:

cp -rf decapoda-research-llama-13b-hf/*.bin llama-13b-hf/
cp -rf decapoda-research-llama-13b-hf/*.model llama-13b-hf/

参考

  • Hugging Face - decapoda-research/llama-13b-hf
  • 文件Linux下 cp 命令实现文件覆盖(linuxcp覆盖)
  • GitHub - How to Prepare Vicuna Weight
  • CSDN - Vicuna 模型学习与实战
  • GitHub - houtianze/bypy
  • CSDN - Linux服务器下载百度网盘文件
  • GitHub - 分享百度网盘下载7b/13b-hf的链接,有需要的请自取
  • CSDN - 解决git clone过程中出现gnutls_handshake() failed: Error in the pull function的问题
  • 知乎 - ubuntu升级git
  • StackOverflow - SSH Key: “Permissions 0644 for ‘id_rsa.pub’ are too open.” on mac
  • Linux cp命令复制文件、文件夹、强制覆盖的参数及方法详解

你可能感兴趣的:(人工智能)