【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘

问题描述:

将模型文件下载到本地,

模型文件==>https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main

 通过【from_pretrained】去加载本地磁盘上的分词器

YOURPATH = 'models/Qwen-7B-Chat'

name = 'Qwen/Qwen-7B-Chat'
tokenizer = AutoTokenizer.from_pretrained(YOURPATH, local_files_only=True)

运行结果报错

分析:

从报错信息中可知,问题来源tokenization_auto.py", line 729。由于调用了 AutoTokenizer.from_pretrained(YOURPATH, local_files_only=True)。这个调用尝试从给定的路径(YOURPATH)加载一个预训练的 tokenizer。local_files_only=True 参数表示只从本地文件系统加载预训练的 tokenizer,不会尝试从互联网下载。在尝试加载 tokenizer 的过程中,程序在 tokenization_auto.py 文件的第724行抛出了一个 ValueError。错误信息是 "Tokenizer class QWenTokenizer does not exist or is not currently imported.",意思是 QWenTokenizer 这个 tokenizer 类不存在,或者没有被当前程序导入。

你可能感兴趣的:(Transformers,HuggingFace,学习,笔记,人工智能,语言模型,深度学习)