AutoTokenizer

LLaMA Factory 微调后，迁移模型

方法1：使用HuggingFaceHub（最推荐）fromtransformersimportAutoModelForCausalLM,AutoTokenizer#在源服务器上保存模型到Hubmodel.push_to_hub
激进小猪1002·2025-06-28 18:17

OpenBMB/MiniCPM4-0.5B 运行起来需要多少显存？实测需要 1.8GB

frommodelscopeimportAutoModelForCausalLM,AutoTokenizerimporttorchtorch.manual_seed(0)path='OpenBMB/MiniCPM4-0.5B'device="cuda"tokenizer=AutoTokenizer.from_pretrained
·2025-06-09 17:24

huggingface 使用和模型微调

简介HuggingFace技术生态全景解析一、技术架构解析1.核心组件构成Transformers库：提供统一API支持30+架构的预训练模型加载，核心抽象类包括AutoModel、AutoTokenizer
Psycho_MrZhang·2025-06-07 04:35

Transformers 库 Tokenizer 高级用法解析：从文本预处理到模型输入的一站式解决方案

一、Tokenizer核心功能与基础用法1.一键生成模型输入数据通过AutoTokenizer加
佑瞻·2025-05-28 19:09

Qwen3 调用 FastMCP —— 查询天气案例，了解 MCP 和大模型的结合方法

frommodelscopeimportAutoModelForCausalLM,AutoTokenizermodel_name="Qwen/Qwen3-1.7B"#loadthetokenizerandthemodeltokenizer=AutoTokenizer.from_pretrained
·2025-05-14 12:53

BERT（Bidirectional Encoder Representations from Transformers）的序列分类模型，简单学习记录

一、代码#本地离线模型使用fromtransformersimportAutoModelForCausalLM,AutoTokenizer,pipeline,BertForSequenceClassification
努力努力再努力呐·2025-03-11 11:16

告别复杂分词：Transformers轻松搞定文本处理

今天这篇文章将带你一起走进一个深受AI界热爱的工具——Transformers库，特别是AutoTokenizer的神奇功能。这个工具可以让你轻松处理文本，节省时间，还能保证高效准确。
星际编程喵·2025-02-25 09:08

deepseek+python,离线api，持续对话

功能：通过start开启新对话，stop结束对话，exit退出程序，并且可持续对话代码fromtransformersimportAutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfigimporttorch
守着黎明看日出·2025-02-16 05:43

Jetson显卡上运行Qwen2-1.5b模型时报错“RuntimeError triu_tril_cuda_template not implemented for ‘BFloat16‘”

RuntimeErrortriu_tril_cuda_templatenotimplementedfor‘BFloat16’”问题描述：CUDA_DEVICE="cuda:0"model_name_or_path='/qwen2-1.5b-instruct'Tokenizer=AutoTokenizer.from_pretrained
wang151038606·2025-01-19 00:31

【学习总结】Python transformers AutoTokenizer encode 出现的 101 和 102

1.代码展示：fromtransformersimportAutoTokenizer,AutoModelmodel_name="bert-base-chinese"tokenizer=AutoTokenizer.from_pretrained
爱学习的小道长·2024-03-14 14:10

使用模型Helsinki-NLP/opus-mt-en-zh实现英译中

googlecodlab运行需要5秒fromtransformersimportAutoModel,AutoTokenizer,MarianMTModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:18

llama原始模型如何tokenize中文

加载分词器：tokenizer=AutoTokenizer.from_pretrained(model_name_or_path)model=LlamaForCausalLM.from_pretrained
Takoony·2024-02-09 19:21

Finetune时更改tokenizer词表

special_tokens=[]withopen("待添加词所在文件","r")asf_vocab:forlineinf_vocab:special_tokens.append(line.strip())tokenizer=AutoTokenizer.f
Alicesla·2024-02-09 19:20

显存不够又想用某个模型时的模型量化操作

AutoModelForCausalLM,BitsAndBytesConfigquantization_config=BitsAndBytesConfig(load_in_8bit=True)tokenizer=AutoTokenizer.from_pretrained
鱼鱼9901·2024-01-28 20:00

大语言模型参数微调过程（附完整代码）

model_args,data_args,train_args,finetuning_args,generating_args=get_train_args()2.加载分词tokenizertokenizer=AutoTokenizer.from_pretrained
抓个马尾女孩·2024-01-12 05:23

Auto tokenizer和Bert tokenizer的区别

"AutoTokenizer"和"BERTTokenizer"是两个不同概念，而不是两种不同的tokenizer。
不当菜鸡的程序媛·2024-01-07 12:06

Charsiu-G2P

Charsiu-G2P‒输入格式：“language关键字+文本”首先过transformer-AutoTokenizer按照letter进行编码；编码序列送入charsiug2p模型（T5ForConditionalGeneration
林林宋·2024-01-06 10:44

Bert模型from_pretrained报网络错误解决办法

服务器或者本地运行以下代码时报网络连接错误：fromtransformersimportAutoTokenizermodel_checkpoint="distilbert-base-uncased"tokenizer=AutoTokenizer.from_pretrained
欧拉雅卡·2023-12-28 09:44

ChatGLM-6B源码解析 之 web_demo.py

fromtransformersimportAutoModel,AutoTokenizerimportgradioasgrimportmdtex2htmltokenizer=AutoTokenizer.from_pretrained
量化交易曾小健(金融号)·2023-12-21 20:15

【HuggingFace Transformer库学习笔记】基础组件学习：Tokenizer

#从HuggingFace加载，输入模型名称，即可加载对于的分词器tokenizer=AutoTokenizer.from_pretrained("model/robert-base-chinese-extractive-qa
辰阳星宇·2023-12-20 07:23

LLM部署-Fastllm

fastllm使用#这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained
银晗·2023-12-05 10:19

HuggingFace学习笔记--Tokenizer的使用

1--AutoTokenizer的使用官方文档AutoTokenizer()常用于分词，其可调用现成的模型来对输入句子进行分词。
晓晓纳兰容若·2023-11-30 03:27

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

#tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL)改成这个legacy=False,use_fast=False：tokenizer=AutoTokenizer.from_pretrained
心心喵·2023-11-23 19:44

HuggingFace——Tokenizer的简单记录

Tokenizer[中文Course|API|详述文档]下载使用针对AutoTokenizer来说，如果是从在线仓库中下载，其是要访问：commit_hash=kwargs.get("_commit_hash
Charon_HN·2023-11-21 23:19

ReadTimeoutError: HTTPSConnectionPool(host=‘cdn-lfs.huggingface.co‘, port=443)

fromtransformersimportAutoModel,AutoTokenizerimportosos.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"tokenizer=AutoTokenizer.from_pretrained
肥宅程序员aka不会游泳的鱼·2023-11-09 19:43

HuggingFace的transfomers库

fromtransformersimportAutoTokenizerenc=AutoTokenizer.from_pretrained('facebook/opt-125m')可以通过print(enc
zhuikefeng·2023-11-08 11:42

NLP之Bert多分类实现(数据获取与处理)

importjsonimportnumpyasnpfromtqdmimporttqdmbert_model="bert-base-chinese"fromtransformersimportAutoTokenizertokenizer=AutoTokenizer.from_pretrained
赵孝正·2023-11-04 16:51

基于hugging face的autogptq量化实践

1.量化并保存到本地的#导入库：fromtransformersimportAutoModelForCausalLM,AutoTokenizer,GPTQConfigmodel_id="facebook
dear_queen·2023-10-27 04:29

Huggingface开源模型使用学习

使用方法：fromtransformersimportAutoTokenizertokenizer=AutoTokenizer.from_pretrained(XXX)#XXX为想要使用的模型tokenizer
Quinn-ntmy·2023-10-25 11:24

【通义千问】Qwen从本地加载分词器报错‘‘tokenizer class not exist‘‘

/main通过【from_pretrained】去加载本地磁盘上的分词器YOURPATH='models/Qwen-7B-Chat'name='Qwen/Qwen-7B-Chat'tokenizer=AutoTokenizer.from_pretrained
大表哥汽车人·2023-10-08 15:00

diffusers中的controlnet训练

train_controlnet.pyaccelerate=Accelerator()->tokenizer=AutoTokenizer.from_pretrained(,"tokenizer")->text_encoder_cls
Kun Li·2023-09-20 00:26

last_hidden_state vs pooler_output的区别

,AutoModelimporttorch#LoadmodelfromHuggingFaceHubMODEL_NAME_PATH='xxxx/model/bge-large-zh'tokenizer=AutoTokenizer.from_pretrained
Takoony·2023-09-15 02:57

python代码服务汇总

/conf/snapshots"tokenizer=AutoTokenizer.from_p
小李飞刀李寻欢·2023-09-06 10:28

预训练Bert添加new token的问题

问题最近遇到使用transformers的AutoTokenizer的时候，修改vocab.txt中的[unused1]依然无法识别相应的newtoken。
hhy不许摸鱼·2023-09-05 08:23

huggingface transformers库中LlamaForCausalLM

fromtransformersimportAutoTokenizer,LlamaForCausalLMmodel=LlamaForCausalLM.from_pretrained(PATH_TO_CONVERTED_WEIGHTS)tokenizer=AutoTokenizer.from_pretrained
Jerry_liu20080504·2023-08-31 20:19

[Python]BLOOM模型推理简介

文章目录pytorch推理ds_zero推理BLOOM模型是Huggingface开发的，在transformers库中提供了支持：通过AutoTokenizer从模型中加载Tokenizer；通过AutoModelForCausalLM
alwaysrun·2023-08-20 11:53

python-transformers基础总结【二】-如何微调一个预训练模型

如何微调一个预训练模型importtorchfromtransformersimportAdamW,AutoTokenizer,AutoModelForSequenceClassification#以前不用变化
liwulin0506·2023-08-19 23:37

LLM - LLama 模型读取报错 TypeError: not a string

一.引言读取LLama2模型时报错TypeError:notastring看异常栈是AutoTokenizer.from_pretrained时候的异常。
BIT_666·2023-08-03 12:24

出现了HTTPSConnectionPool(host=‘huggingface.co‘, port=443)错误的解决方法

如在下载Tokenizer的时候，就会出现：tokenizer=AutoTokenizer.from_pretrained("csebuetnlp/mT5_multilingual_XLSum")1.直接下
go2coding·2023-07-23 07:09

畅游NLP海洋：HuggingFace的快速入门

0、加载BertTokenizer：需要传入预训练模型的名字2-1、使用Tokenizer对句子编码：2-2、使用增强Tokenizer对句子编码：2-3、批量编码单个句子：2-4、添加新词：2-5、AutoTokenizer
ㄣ知冷煖★·2023-07-20 05:04

ChatGLM-6B 微调之后模型 加载 并且问问题 代码

AutoModel#model_dir=""print('loadtokenizer')model_dir='/xxx/home/work/chatglm-6b'importtorchtokenizer=AutoTokenizer.from_pretraine
Jonathan Star·2023-07-17 13:18

ChatGLM安装部署问题记录

mypath="C:\\AI\\GLM-CheckPoint\\chatglm-6b-int4"fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained
SP八岐大兔·2023-06-08 14:25

transformers有关tokenzier的几个函数

1、想要知道每个piece属于哪个word：tokenizer=AutoTokenizer.from_pretrained("bert-base-cased",use_fast=True)#usefasttokenizerpiece2word
DSZhappy·2023-04-15 05:26

transformers 模型保存缓存 win10

包缓存模型修改文件名字可以不联网使用模型下载模型加载缓存微调模型序列分类transformers包缓存模型fromtransformersimportAutoTokenizer,TFAutoModeltokenizer=AutoTokenizer.from_pretrained
2020小小酥·2023-04-13 20:57

Encoding.word_ids()

一、Encoding资料Encoding二、代码fromtransformersimportAutoTokenizerDOWNLOADED_MODEL_PATH='model'tokenizer=AutoTokenizer.from_pretrained
SmartDemo·2023-04-13 14:10

hugging face 无法加载预训练模型：OSError: Can‘t load config for ‘hfl/chinese-macbert-base‘. If you were trying

库无法加载预训练模型文件具体代码和报错使用以下代码的时候，发生报错：fromtransformersimportAutoTokenizer,AutoModelForMaskedLMtokenizer=AutoTokenizer.from_pretrained
小王做笔记·2023-04-02 18:25

使用与下载huggingface的各种预训练模型的方法

transformers即可：pipinstalltransformers引用模型也很简单，三句话搞定：fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrain
六六六六神·2023-02-03 11:06

各种huggingface分词器对比

bert-base-chinese对于dinner这种英语词汇，表现不佳，tokenizer=AutoTokenizer.from_pretrained("bert-base-chinese")输出如下
Melody2050·2023-01-30 13:26

Transformers数据预处理：Preprocessing data

我们可以使用模型对应的文本标记器类型，也可以直接使用AutoTokenizer自动分类。文本标记器首先会把文本分割成单词、标点符号等，这些被分割的元素叫作token。
HMTT·2023-01-11 14:02

BERT模型自定义词汇以及token相关

加载bert模型及分词fromtransformersimportAutoModelForMaskedLM,AutoTokenizermodel="bert-base-cased"tokenizer=AutoTokenizer.from_pretrained
dream6104·2023-01-09 16:56
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他