大模型下载使我痛苦

来自：NLP工作站

->辅导界的小米带你冲刺ACL2024

写在前面

不知道大家最近有没有这种痛苦，大模型下载太困难了。（不涉及国外的朋友们）

主要由于huggingface必须要科学上网才能访问，而7B规模的模型一般在14G大小左右，13B规模的模型一般在28G左右，这还是模型按照ft16或bf16存贮，如果是float32存储还需要翻一倍，流量是真的吃不消。（有不限量的另说！毕竟我只有100G，下载几个就GG了...）

如何能解决上面的问题呢，具体有两个方法：

• 用阿里的魔搭社区来下载模型，但缺点是并不是所有模型魔搭上都有；

• 找一些huggingface的镜像网站，不是所有的镜像网站模型都是全的。

正好有群友搭了一个huggingface镜像网站，特此宣传一波，反正我现在使用时速度飞起（可能用的人还不是很多）。Huggingface镜像网站：https://hf-mirror.com

对于很多人来说，在网页上点击下载是一个办法，但一个一个点会有些麻烦，因此，这里这里也介绍一下通过代码下载大模型的整体方法。

huggingface官网下载

from huggingface_hub import snapshot_download

snapshot_download(repo_id='Qwen/Qwen-7B',
                  repo_type='model',
                  local_dir='./model_dir',
                  resume_download=True)

其中，repo_id为huggingface模型仓库ID，repo_type仓库类型，包含model和data两种，local_dir本地保存路径，如果没有会下载到/root/.cache/huggingface目录下，resume_download为是否断点续传。

huggingface镜像网站下载

由于snapshot_download函数中默认的下载路径为"https://huggingface.co"，只需将镜像网站地址设置为"https://hf-mirror.com"即可。

linux中执行

export HF_ENDPOINT=https://hf-mirror.com

再使用下面代码进行模型下载即可。

from huggingface_hub import snapshot_download

snapshot_download(repo_id='Qwen/Qwen-7B',
                  repo_type='model',
                  local_dir='./model_dir',
                  resume_download=True)

PS：附上群友的Github，纯纯为爱发电。

阿里魔搭社区下载

需要安装modelscope包。

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('qwen/Qwen-7B', 
                              cache_dir='./model_dir', 
                              revision='master')

PS：其实huggingface不能访问的这一阵子，魔搭真的吃了不少流量，只希望模型可以越来越多，希望国产社区越做越好。

总结

主要跟大家诉诉苦，并且分享一下自己围魏救赵的方法。

---

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

id：DLNLPer，记得备注呦