大模型下载使我痛苦

来自:NLP工作站

->辅导界的小米带你冲刺ACL2024

写在前面

不知道大家最近有没有这种痛苦,大模型下载太困难了。(不涉及国外的朋友们)

主要由于huggingface必须要科学上网才能访问,而7B规模的模型一般在14G大小左右,13B规模的模型一般在28G左右,这还是模型按照ft16或bf16存贮,如果是float32存储还需要翻一倍,流量是真的吃不消(有不限量的另说!毕竟我只有100G,下载几个就GG了...)

如何能解决上面的问题呢,具体有两个方法:

  • 用阿里的魔搭社区来下载模型,但缺点是并不是所有模型魔搭上都有

  • 找一些huggingface的镜像网站,不是所有的镜像网站模型都是全的

正好有群友搭了一个huggingface镜像网站,特此宣传一波,反正我现在使用时速度飞起(可能用的人还不是很多)。大模型下载使我痛苦_第1张图片Huggingface镜像网站:https://hf-mirror.com大模型下载使我痛苦_第2张图片

大模型下载使我痛苦_第3张图片

对于很多人来说,在网页上点击下载是一个办法,但一个一个点会有些麻烦,因此,这里这里也介绍一下通过代码下载大模型的整体方法。

大模型下载使我痛苦_第4张图片

huggingface官网下载

from huggingface_hub import snapshot_download

snapshot_download(repo_id='Qwen/Qwen-7B',
                  repo_type='model',
                  local_dir='./model_dir',
                  resume_download=True)

其中,repo_id为huggingface模型仓库ID,repo_type仓库类型,包含model和data两种,local_dir本地保存路径,如果没有会下载到/root/.cache/huggingface目录下,resume_download为是否断点续传。

huggingface镜像网站下载

由于snapshot_download函数中默认的下载路径为"https://huggingface.co",只需将镜像网站地址设置为"https://hf-mirror.com"即可

linux中执行

export HF_ENDPOINT=https://hf-mirror.com

再使用下面代码进行模型下载即可。

from huggingface_hub import snapshot_download

snapshot_download(repo_id='Qwen/Qwen-7B',
                  repo_type='model',
                  local_dir='./model_dir',
                  resume_download=True)

PS:附上群友的Github,纯纯为爱发电。大模型下载使我痛苦_第5张图片大模型下载使我痛苦_第6张图片

阿里魔搭社区下载

需要安装modelscope包。

from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('qwen/Qwen-7B', 
                              cache_dir='./model_dir', 
                              revision='master')

PS:其实huggingface不能访问的这一阵子,魔搭真的吃了不少流量,只希望模型可以越来越多,希望国产社区越做越好。

总结

主要跟大家诉诉苦,并且分享一下自己围魏救赵的方法。


备注:昵称-学校/公司-方向/会议(eg.ACL),进入技术/投稿群

大模型下载使我痛苦_第7张图片

id:DLNLPer,记得备注呦

大模型下载使我痛苦_第8张图片

你可能感兴趣的:(大模型下载使我痛苦)