Tokenizer

机器学习入门

它开源了许多机器学习需要的基础组件如：Transformers,Tokenizers等。
liuzhenghua66·2023-12-15 20:36

基于pytorch 的RNN实现文本分类

importtorchimporttorch.nnasnnimporttorch.optimasoptimimportnumpyasnpfromtorchtext.datasetsimportAG_NEWSfromtorchtext.data.utilsimportget_tokenizerfromcollectionsim
Tony小周·2023-12-14 17:45

扩散模型学习（三）

文章目录一、StableDiffusion使用二、管线的组成部分1.可变分自编码器（VAE）2.分词器（Tokenizer）和文本编码器（TextEncoder）3.UNet4.调度器（Scheduler
李明朔·2023-12-06 18:51

transformers tokenizer.encode_plus() 的padding=True踩的坑

转载：transformerstokenizer.encode_pl
不当菜鸡的程序媛·2023-12-05 17:18

pytorch bert实现文本分类

importosimporttorchfromtorch.utils.dataimportDataLoader,TensorDataset,random_splitfromtransformersimportBertTokenizer
骑单车的王小二·2023-12-05 14:13

LLM部署-Fastllm

fastllm使用#这是原来的程序，通过huggingface接口创建模型fromtransformersimportAutoTokenizer,AutoModeltokenizer=AutoTokenizer.from_pretrained
银晗·2023-12-05 10:19

【中文编码】利用bert-base-chinese中的Tokenizer实现中文编码嵌入

  最近接触文本处理，查询了一些资料，记录一下中文文本编码的处理方法吧。  先下载模型和词表：bert-base-chinese镜像下载  如下图示，下载好的以下文件均存放在bert-base-chinese文件夹下    1.词编码嵌入简介  按我通俗的理解，就是文本要进入模型，得编码成数字的形式，那么，怎么给定数字的形式呢，不能随便给一个数字吧，此时就需要一个词表，该表中有很多很多的字，每个字
风巽·剑染春水·2023-12-04 02:33

HuggingFace学习笔记--Trainer的使用

一般需要设置训练的模型以及训练相关参数等；1-1--简单Demo代码importevaluatefromdatasetsimportload_datasetfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:39

[AI] 在 huggingface transformers新增自定义token

虽然目前模型一起使用的子词tokenizers能够处理基本上任意的token，但这并不是最优的。这些tokenizers一般是透过切分更小的subtoken来处理未知的新词。
AlgorithmWillBeFine·2023-12-02 10:35

洛谷火柴人

importjava.io.BufferedReader;importjava.io.InputStreamReader;importjava.io.StreamTokenizer;publicclassMain
screamn·2023-12-02 06:54

RNN：文本生成

unicode分词进行文本生成一、完整代码这里我们使用tensorflow实现，代码如下：#完整代码在这里importtensorflowastfimportkeras_nlpimportnumpyasnptokenizer
Bigcrab__·2023-12-02 02:15

[论文笔记] tiktoken中的gpt4 tokenizer

gpt-tokenizer-npmGitHub-openai/tiktoken:tiktokenisafastBPEtokeniserforusewithOpenAI'smodels.GitHub-weikang-wan
心心喵·2023-12-01 16:31

从零构建属于自己的GPT系列1：文本数据预处理、文本数据tokenizer、逐行代码解读

PyCharm中进行本篇文章配套的代码资源已经上传从零构建属于自己的GPT系列1：文本数据预处理从零构建属于自己的GPT系列2：语言模型训练0任务基本流程拿到txt文本数据，本文以15本金庸小说为例CpmTokenizer
机器学习杨卓越·2023-11-30 13:50

Go语言实现大模型分词器tokenizer

文章目录前言核心结构体定义构造函数文本初始处理组词构建词组索引训练数据编码解码打印状态信息运行效果总结前言大模型的tokenizer用于将原始文本输入转化为模型可处理的输入形式。
醉墨居士·2023-11-30 11:29

语言模型文本处理基石：Tokenizer简明概述

作者指出，大语言模型的核心在于将文本转化为数字表征，这就需要介绍tokenizer的概念。通过tokenizer，文本被分词并映射为tokenid，这为模型理解文本提供
Baihai IDP·2023-11-30 07:24

使用斯坦福ner工具训练自己的模型

qa.tok是每一行一个单词java-cpstanford-ner.jaredu.stanford.nlp.process.PTBTokenizerqa.txt>qa.tok手动给qa.tok里的每个单词标注需要有一个
九乡河的小香瓜·2023-11-30 04:48

HuggingFace学习笔记--Tokenizer的使用

1--AutoTokenizer的使用官方文档AutoTokenizer()常用于分词，其可调用现成的模型来对输入句子进行分词。
晓晓纳兰容若·2023-11-30 03:27

精调llama模型

llama-recipesgithub:https://github.com/facebookresearch/llamaimporttorchfromtransformersimportLlamaForCausalLM,LlamaTokenizer
WitsMakeMen·2023-11-29 11:46

[nlp] tokenizer

参考：NLP中的Tokenization-知乎1、Tokenization的难点Tokenization其实是为数值化作准备，数值化的过程必然需要映射，而映射又需要一个目标集合或者说映射表。2、三类Tokenization方法本节我们来讨论词粒度的相关方法。词粒度的切分就跟人类平时理解文本原理一样，可以用一些工具来完成，例如英文的NLTK、SpaCy，中文的jieba、HanLP等。词粒度Toke
心心喵·2023-11-29 09:45

HuggingFace学习笔记--利用API实现简单的NLP任务

中文句子关系推断1--中文分类1-1--使用预训练模型推理代码实例：importtorchfromdatasetsimportload_datasetfromtransformersimportBertTokenizer
晓晓纳兰容若·2023-11-29 01:34

HuggingFace模型训练以及推理相关

所有问答任务相关【transformers】tokenizer用法（encode、encode_plus、batch_encode_plus等等）_hj_caas的博客-CSDN博客transformers
handsome_new·2023-11-29 01:32

HuggingFace学习笔记-零碎记录

pipeline的参数有model、tokenizer、device、task四种（来自gpt3.5），其中可以只填task。
gimlet_·2023-11-29 01:01

HuggingFace学习笔记--AutoModel的使用

1--AutoModel的使用官方文档AutoModel用于加载模型；1-1--简单Demo测试代码：fromtransformersimportAutoTokenizer,AutoModelif__name
晓晓纳兰容若·2023-11-29 01:29

算法笔记3

StreamTokenizer使用注意：用JAVA解题一般用Scanner类来进行输入，但对时间要求严格的题，用它可能会超时，后改用StreamTokenizer类进行输入，后者处理输入的效率要高点。
Guangchao·2023-11-27 22:33

ElasticSearch学习笔记 | 分词、IK分词器和自定义分词

一个tokenizer（分词器）接收一个字符流，将之割为独立的tokens（词元，通常是独立的单词），然后输出tokens流。例如，whitespacetokenizer遇到空白字符时分割文。
程序员麻薯·2023-11-27 20:01

PropertyTokenizer属性解析器实现，So Easy

PropertyTokenizer是Mybatis中的属性解析器，其主要实现原理如下：publicPropertyTokenizer(Stringfullname){//判断是否以“.”分隔intdelim
chi_666·2023-11-26 19:41

【LLM】chatglm3的agent应用和微调实践

chatglm3的对话格式中，部分使用specialtoken表示，无法从文本形式被tokenizer编码以防止注
山顶夕景·2023-11-26 10:16

AcWing算法基础课复习——（一）基础算法

*;publicclassMain{staticStreamTokenizerst=newStreamTokenizer(newBufferedReader(newInputStreamReader(System.in
God同学·2023-11-25 22:12

一文了解 StandardTokenizer 分词器，分词原理

一、StandardTokenizer简介什么是StandardTokenizer？StandardTokenizer是HanLP中的一个分词器，也是默认的标准分词器。
大家都说我身材好·2023-11-25 08:41

transformers中的data_collator

前言使用huggingface的Dataset加载数据集，然后使用过tokenizer对文本数据进行编码，但是此时的特征数据还不是tensor，需要转换为深度学习框架所需的tensor类型。
凯子要面包·2023-11-25 04:31

HuggingFace-利用BERT预训练模型实现中文情感分类（下游任务）

准备数据集使用编码工具首先需要加载编码工具，编码工具可以将抽象的文字转成数字，便于神经网络后续的处理，其代码如下：#定义数据集fromtransformersimportBertTokenizer,BertModel
♡Coisíní♡·2023-11-25 03:19

Hadoop MapReduce数据去重程序

packagecom.hadoop.sample;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
GarfieldEr007·2023-11-24 05:28

transformer之KV Cache

非常有效的加速推理速度，效果如下所示：importnumpyasnpimporttimeimporttorchfromtransformersimportAutoModelForCausalLM,AutoTokenizerNAME_OR_PATH
Takoony·2023-11-24 04:24

大模型增量预训练参数说明

tokenizer_name_or_path分词器名称或者路径。如果进行了词表扩充或裁剪，则tokenizer_nam
hj_caas·2023-11-24 02:32

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

#tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL)改成这个legacy=False,use_fast=False：tokenizer=AutoTokenizer.from_pretrained
心心喵·2023-11-23 19:44

BERT|add tokens后tokenizer一直加载中...

情况是：我用add_tokens()方法添加自己的新词后，BertTokenizer.from_pretrained(model)一直处于加载中。
柯薇求何·2023-11-23 14:11

Pytorch——Tokenizers相关使用

在NLP项目中，我们常常会需要对文本内容进行编码，所以会采tokenizer这个工具，他可以根据词典，把我们输入的文字转化为编码信息，例如我们本文信息是“我爱你”将转化为[2,10,3]，其中”我“在字典里对应数字
手把手教你学AI·2023-11-21 23:59

tokenizers models模块

模块概述在NLP处理中，分词的目标就是是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。有三种粒度，分别是word、subword、char。word/词，词，是最自然的语言单元。对于英文等自然语言来说，存在着天然的分隔符，如空格或一些标点符号等，对词的切分相对容易。但是对于一些东亚文字包括中文来说，就需要某种分词算法才行。顺便说一下，T
不负韶华ღ·2023-11-21 23:59

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

使用Tokenizers的tokenizersPreTrainedTokenizerFast依赖于Tokenizers库。
wwlsm_zql·2023-11-21 23:59

tokenizers pre_tokenizers模块

模块介绍pre_tokenizers模块中最重要的一个类PreTokenizer，不仅将文本拆分为单词，还保留了偏移量，即原始文本中每个单词的开头和开头。
不负韶华ღ·2023-11-21 23:58

tokenizers Tokenizer类

基类原型tokenizers.Tokenizer(model)基类说明Tokenizer函数构造一个分词器对象。
不负韶华ღ·2023-11-21 23:57

BpeTrainer保存tokenizer

这里不是简单的save而是tokenizer.model.save('.')或者tokenizer.save(path="tokenizer.json",pretty=True)fromtokenizersimportTokenizer
追梦小狂魔·2023-11-21 23:22

tokenizers学习笔记

一、基于字母的分词方法将每个字符看作一个词。优点：不用担心未知词汇，可以为每一个单词生成词嵌入向量表示。缺点：由于字母缺乏内在含义，所以得到的词嵌入向量也缺乏含义。计算复杂度提升，字符（单个汉字）的数目大于token（词）的数目。输出序列的长度将变大，对于Bert、CNN等限制最大长度的模型将很容易达到最大值。二、基于子词的分词方法（SubwordTokenization）为了改进分词方法，在UN
AlphaFinance·2023-11-21 23:20

HuggingFace——Tokenizer的简单记录

Tokenizer[中文Course|API|详述文档]下载使用针对AutoTokenizer来说，如果是从在线仓库中下载，其是要访问：commit_hash=kwargs.get("_commit_hash
Charon_HN·2023-11-21 23:19

tokenizers＞=0.13.3 解决方案

在云GPU跑代码时，我的tokenizers=0.13.2但是需要tokenizers>=0.13.3才行，经过测试以下可行步骤：先卸载旧版本:pipuninstalltokenizers然后通过清华源下载
M2087·2023-11-21 23:18

tokenizers Tokenizer 类

Tokenizer类依赖安装pipinstalltensorflowpipinstalltensorflow-ihttps://pypi.tuna.tsinghua.edu.cn/simple基类原型tokenizers.Tokenizer
cliffordl·2023-11-21 23:46

[Muxi_k] laravel快速入门

laravel5.5安装laravel5.5服务器要求PHP>=7.0.0PHPOpenSSL扩展PHPPDO扩展PHPMbstring扩展PHPTokenizer扩展PHPXML扩展安装LaravelLaravel
Muxi_k·2023-11-21 08:23

Datawhale组队学习NLP_Bert文本分类学习笔记

使用Bert进行文本分类1数据的读入1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式
宝友你好·2023-11-21 01:02

大语言模型量化方法对比：GPTQ、GGUF、AWQ

delmodel,tokenizer,pipeimporttorchtorch.cuda.empty_cache()如果在jupyter中无法释放显存，请重启这个jupyterno
deephub·2023-11-20 12:49
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他