HuggingFace - linux环境 修改下载默认缓存路径

原文:

不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_使用huggingface下载bert保存在哪里怎么看-CSDN博客

How to change huggingface transformers default cache directory - Stack Overflow

linux系统解决huggingface下载缓存不够的问题_清理huggingface缓存-CSDN博客

本人两种方法均尝试。有效。推荐第二种。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定。

缺点,每次都需要手动指定,比较麻烦。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二:设置环境变量

vim ~/.bashrc

在末尾行添加:

export HF_HOME="/path/to/you/dir"  # 替换为你想更改的目标路径

然后保存退出。
输入如下指令让它立即生效:

source ~/.bashrc

可通过如下指令查看是否设置成功,

env | grep HF_HOME

如果返回设置的路径,则成功。如图:Alt

你可能感兴趣的:(LLM,linux,缓存,人工智能)