Tokenizer

T5 PEGASUS：开源一个中文生成式预训练模型-摘要生成

经过反复斟酌测试，我们决定以mT5为基础架构和初始权重，先结合中文的特点完善Tokenizer，然后模仿PEGASUS[1]来构建预
javastart·2023-12-30 11:44

Bert模型from_pretrained报网络错误解决办法

问题描述：服务器或者本地运行以下代码时报网络连接错误：fromtransformersimportAutoTokenizermodel_checkpoint="distilbert-base-uncased"tokenizer
欧拉雅卡·2023-12-28 09:44

模型微调入门介绍一

模型微调大致会有下面5大步骤，其中数据下载主要用transformers库中的datasets来完成，数据预处理部分会用到tokenizer对象。本篇博客会重点介绍数据加载和数据预处理
taoli-qiao·2023-12-27 14:39

Masked Autoencoders Are Scalable Vision Learners 2021-11-13

而且BEIT中也使用了AutoEncoder，但是和MAE的区别是，这里的AE是作为一个tokenizer使用，而下面的Transformer重现的也是token而不是原图。BEI
不想读Paper·2023-12-25 19:49

详解Keras3.0 KerasNLP Models: GPT2 GPT2Tokenizer

1、GPT2Tokenizer用于将文本数据转换为适合训练和预测的格式，主要功能是将输入的文本进行分词、编码等操作，以便在神经网络中使用keras_nlp.models.GPT2Tokenizer(vocabulary
缘起性空、·2023-12-24 06:17

Java学习常用实用类2

1StringTokenizer类字符串分析器，能够从一个字符串中根据指定的分隔符拆分出若干单词StringTokenizer(Strings)使用默认分隔符集合，即：空格符、换行符、回车符、Tab符、
小i青蛙·2023-12-22 22:36

ChatGLM-6B源码解析 之 web_demo.py

fromtransformersimportAutoModel,AutoTokenizerimportgradioasgrimportmdtex2htmltokenizer=AutoTokenizer.from_pretrained
量化交易曾小健(金融号)·2023-12-21 20:15

龙芯loongarch64服务器编译安装tokenizers

1、简介HuggingFace的Tokenizers库提供了一种快速和高效的方式来处理（即分词）自然语言文本，用于后续的机器学习模型训练和推理。
番茄小能手·2023-12-21 07:09

【HuggingFace Transformer库学习笔记】基础组件学习：Tokenizer

基础组件——Tokenizer（1）模型加载fromtransformersimportAutoTokenizersen="弱小的我也有大梦想!"
辰阳星宇·2023-12-20 07:23

多进程运行含有任意参数的函数、为什么multiprosessing会进行多次初始化

如以下代码中，我们要将set_seq、tokenizer和model作为变量传入“Seq_to_vec”函数中。particial
Billie使劲学·2023-12-19 13:02

Hugging Face实战-系列教程19：文本摘要建模实战1 之 数据清洗（中文商城评价数据处理方法）

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传文本摘要建模实战1之数据清洗文本摘要建模实战2之Tokenizer
机器学习杨卓越·2023-12-19 09:16

Hugging Face实战-系列教程20：文本摘要建模实战2 之 Tokenizer处理

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传文本摘要建模实战1之数据清洗文本摘要建模实战2之Tokenizer
机器学习杨卓越·2023-12-19 09:44

实验过程中的问题记录

andeval_datasetisnotNoneandargs.eval_steps>0andglobal_step%args.eval_steps==0:metric_cur=eval_fn(args,eval_dataset,model,tokenizer
失眠的树亚·2023-12-16 12:54

lora微调

="0"importtorchimporttorch.nnasnnimportbitsandbytesasbnbimporttransformersfromtransformersimportAutoTokenizer
SmartDemo·2023-12-16 06:47

随机分词与tokenizer(BPE-＞BBPE-＞Wordpiece-＞Unigram-＞sentencepiece-＞bytepiece)

0tokenizer综述根据不同的切分粒度可以把tokenizer分为:基于词的切分，基于字的切分和基于subword的切分。基于subword的切分是目前的主流切分方式。
zhurui_xiaozhuzaizai·2023-12-16 03:56

机器学习入门

它开源了许多机器学习需要的基础组件如：Transformers,Tokenizers等。
liuzhenghua66·2023-12-15 20:36

基于pytorch 的RNN实现文本分类

importtorchimporttorch.nnasnnimporttorch.optimasoptimimportnumpyasnpfromtorchtext.datasetsimportAG_NEWSfromtorchtext.data.utilsimportget_tokenizerfromcollectionsim
Tony小周·2023-12-14 17:45

扩散模型学习（三）

文章目录一、StableDiffusion使用二、管线的组成部分1.可变分自编码器（VAE）2.分词器（Tokenizer）和文本编码器（TextEncoder）3.UNet4.调度器（Scheduler
李明朔·2023-12-06 18:51

transformers tokenizer.encode_plus() 的padding=True踩的坑

转载：transformerstokenizer.encode_pl
不当菜鸡的程序媛·2023-12-05 17:18

pytorch bert实现文本分类

importosimporttorchfromtorch.utils.dataimportDataLoader,TensorDataset,random_splitfromtransformersimportBertTokenizer
骑单车的王小二·2023-12-05 14:13

LLM部署-Fastllm

fastllm使用#这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained
银晗·2023-12-05 10:19

【中文编码】利用bert-base-chinese中的Tokenizer实现中文编码嵌入

  最近接触文本处理，查询了一些资料，记录一下中文文本编码的处理方法吧。  先下载模型和词表：bert-base-chinese镜像下载  如下图示，下载好的以下文件均存放在bert-base-chinese文件夹下    1.词编码嵌入简介  按我通俗的理解，就是文本要进入模型，得编码成数字的形式，那么，怎么给定数字的形式呢，不能随便给一个数字吧，此时就需要一个词表，该表中有很多很多的字，每个字
风巽·剑染春水·2023-12-04 02:33

HuggingFace学习笔记--Trainer的使用

一般需要设置训练的模型以及训练相关参数等；1-1--简单Demo代码importevaluatefromdatasetsimportload_datasetfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:39

[AI] 在 huggingface transformers新增自定义token

虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。
AlgorithmWillBeFine·2023-12-02 10:35

洛谷火柴人

importjava.io.BufferedReader;importjava.io.InputStreamReader;importjava.io.StreamTokenizer;publicclassMain
screamn·2023-12-02 06:54

RNN：文本生成

unicode分词进行文本生成一、完整代码这里我们使用tensorflow实现，代码如下：#完整代码在这里importtensorflowastfimportkeras_nlpimportnumpyasnptokenizer
Bigcrab__·2023-12-02 02:15

[论文笔记] tiktoken中的gpt4 tokenizer

gpt-tokenizer-npmGitHub-openai/tiktoken:tiktokenisafastBPEtokeniserforusewithOpenAI'smodels.GitHub-weikang-wan
心心喵·2023-12-01 16:31

从零构建属于自己的GPT系列1：文本数据预处理、文本数据tokenizer、逐行代码解读

PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT系列2：语言模型训练0任务基本流程拿到txt文本数据，本文以15本金庸小说为例CpmTokenizer
机器学习杨卓越·2023-11-30 13:50

Go语言实现大模型分词器tokenizer

文章目录前言核心结构体定义构造函数文本初始处理组词构建词组索引训练数据编码解码打印状态信息运行效果总结前言大模型的tokenizer用于将原始文本输入转化为模型可处理的输入形式。
醉墨居士·2023-11-30 11:29

语言模型文本处理基石：Tokenizer简明概述

作者指出，大语言模型的核心在于将文本转化为数字表征，这就需要介绍tokenizer的概念。通过tokenizer，文本被分词并映射为tokenid，这为模型理解文本提供
Baihai IDP·2023-11-30 07:24

使用斯坦福ner工具训练自己的模型

qa.tok是每一行一个单词java-cpstanford-ner.jaredu.stanford.nlp.process.PTBTokenizerqa.txt>qa.tok手动给qa.tok里的每个单词标注需要有一个
九乡河的小香瓜·2023-11-30 04:48

HuggingFace学习笔记--Tokenizer的使用

1--AutoTokenizer的使用官方文档AutoTokenizer()常用于分词，其可调用现成的模型来对输入句子进行分词。
晓晓纳兰容若·2023-11-30 03:27

精调llama模型

llama-recipesgithub:https://github.com/facebookresearch/llamaimporttorchfromtransformersimportLlamaForCausalLM,LlamaTokenizer
WitsMakeMen·2023-11-29 11:46

[nlp] tokenizer

参考：NLP中的Tokenization-知乎1、Tokenization的难点Tokenization其实是为数值化作准备，数值化的过程必然需要映射，而映射又需要一个目标集合或者说映射表。2、三类Tokenization方法本节我们来讨论词粒度的相关方法。词粒度的切分就跟人类平时理解文本原理一样，可以用一些工具来完成，例如英文的NLTK、SpaCy，中文的jieba、HanLP等。词粒度Toke
心心喵·2023-11-29 09:45

HuggingFace学习笔记--利用API实现简单的NLP任务

中文句子关系推断1--中文分类1-1--使用预训练模型推理代码实例：importtorchfromdatasetsimportload_datasetfromtransformersimportBertTokenizer
晓晓纳兰容若·2023-11-29 01:34

HuggingFace模型训练以及推理相关

所有问答任务相关【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）_hj_caas的博客-CSDN博客transformers
handsome_new·2023-11-29 01:32

HuggingFace学习笔记-零碎记录

pipeline的参数有model、tokenizer、device、task四种（来自gpt3.5），其中可以只填task。
gimlet_·2023-11-29 01:01

HuggingFace学习笔记--AutoModel的使用

1--AutoModel的使用官方文档AutoModel用于加载模型；1-1--简单Demo测试代码：fromtransformersimportAutoTokenizer,AutoModelif__name
晓晓纳兰容若·2023-11-29 01:29

算法笔记3

StreamTokenizer使用注意：用JAVA解题一般用Scanner类来进行输入，但对时间要求严格的题，用它可能会超时，后改用StreamTokenizer类进行输入，后者处理输入的效率要高点。
Guangchao·2023-11-27 22:33

ElasticSearch学习笔记 | 分词、IK分词器和自定义分词

一个tokenizer（分词器）接收一个字符流，将之割为独立的tokens（词元，通常是独立的单词），然后输出tokens流。例如，whitespacetokenizer遇到空白字符时分割文。
程序员麻薯·2023-11-27 20:01

PropertyTokenizer属性解析器实现，So Easy

PropertyTokenizer是Mybatis中的属性解析器，其主要实现原理如下：publicPropertyTokenizer(Stringfullname){//判断是否以“.”分隔intdelim
chi_666·2023-11-26 19:41

【LLM】chatglm3的agent应用和微调实践

chatglm3的对话格式中，部分使用specialtoken表示，无法从文本形式被tokenizer编码以防止注
山顶夕景·2023-11-26 10:16

AcWing算法基础课复习——（一）基础算法

*;publicclassMain{staticStreamTokenizerst=newStreamTokenizer(newBufferedReader(newInputStreamReader(System.in
God同学·2023-11-25 22:12

一文了解 StandardTokenizer 分词器，分词原理

一、StandardTokenizer简介什么是StandardTokenizer？StandardTokenizer是HanLP中的一个分词器，也是默认的标准分词器。
大家都说我身材好·2023-11-25 08:41

transformers中的data_collator

前言使用huggingface的Dataset加载数据集，然后使用过tokenizer对文本数据进行编码，但是此时的特征数据还不是tensor，需要转换为深度学习框架所需的tensor类型。
凯子要面包·2023-11-25 04:31

HuggingFace-利用BERT预训练模型实现中文情感分类（下游任务）

准备数据集使用编码工具首先需要加载编码工具，编码工具可以将抽象的文字转成数字，便于神经网络后续的处理，其代码如下：#定义数据集fromtransformersimportBertTokenizer,BertModel
♡Coisíní♡·2023-11-25 03:19

Hadoop MapReduce数据去重程序

packagecom.hadoop.sample;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
GarfieldEr007·2023-11-24 05:28

transformer之KV Cache

非常有效的加速推理速度，效果如下所示：importnumpyasnpimporttimeimporttorchfromtransformersimportAutoModelForCausalLM,AutoTokenizerNAME_OR_PATH
Takoony·2023-11-24 04:24

大模型增量预训练参数说明

tokenizer_name_or_path分词器名称或者路径。如果进行了词表扩充或裁剪，则tokenizer_nam
hj_caas·2023-11-24 02:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他