Tokenize

HuggingFace学习笔记-零碎记录

pipeline的参数有model、tokenizer、device、task四种（来自gpt3.5），其中可以只填task。
gimlet_·2023-11-29 01:01

HuggingFace学习笔记--AutoModel的使用

1--AutoModel的使用官方文档AutoModel用于加载模型；1-1--简单Demo测试代码：fromtransformersimportAutoTokenizer,AutoModelif__name
晓晓纳兰容若·2023-11-29 01:29

生成式深度学习(第二版)-译文-第五章-自回归模型

章节目标了解自回归模型为何比较适合生成序列数据(例如文本)了解如何处理并tokenize文本数据了解RNN(recurrentneuralnetworks)的架构设计利用Keras从零开始构建并训练LSTM
Garry1248·2023-11-28 15:56

算法笔记3

StreamTokenizer使用注意：用JAVA解题一般用Scanner类来进行输入，但对时间要求严格的题，用它可能会超时，后改用StreamTokenizer类进行输入，后者处理输入的效率要高点。
Guangchao·2023-11-27 22:33

ElasticSearch学习笔记 | 分词、IK分词器和自定义分词

一个tokenizer（分词器）接收一个字符流，将之割为独立的tokens（词元，通常是独立的单词），然后输出tokens流。例如，whitespacetokenizer遇到空白字符时分割文。
程序员麻薯·2023-11-27 20:01

Task2

timemachine.txt','r')asf:lines=[re.sub('[^a-z]+','',line.strip().lower())forlineinf]returnlines2.分词deftokenize
Baptiste·2023-11-27 01:27

python 3.6 安装 MySQLClient报错，致命错误：Python.h：没有那个文件或目录

errorERROR:Commanderroredoutwithexitstatus1:command:/usr/bin/python3-u-c'importio,os,sys,setuptools,tokenize
Kaysa_8023·2023-11-26 20:39

PropertyTokenizer属性解析器实现，So Easy

PropertyTokenizer是Mybatis中的属性解析器，其主要实现原理如下：publicPropertyTokenizer(Stringfullname){//判断是否以“.”分隔intdelim
chi_666·2023-11-26 19:41

【LLM】chatglm3的agent应用和微调实践

chatglm3的对话格式中，部分使用specialtoken表示，无法从文本形式被tokenizer编码以防止注
山顶夕景·2023-11-26 10:16

AcWing算法基础课复习——（一）基础算法

*;publicclassMain{staticStreamTokenizerst=newStreamTokenizer(newBufferedReader(newInputStreamReader(System.in
God同学·2023-11-25 22:12

一文了解 StandardTokenizer 分词器，分词原理

一、StandardTokenizer简介什么是StandardTokenizer？StandardTokenizer是HanLP中的一个分词器，也是默认的标准分词器。
大家都说我身材好·2023-11-25 08:41

transformers中的data_collator

前言使用huggingface的Dataset加载数据集，然后使用过tokenizer对文本数据进行编码，但是此时的特征数据还不是tensor，需要转换为深度学习框架所需的tensor类型。
凯子要面包·2023-11-25 04:31

HuggingFace-利用BERT预训练模型实现中文情感分类（下游任务）

准备数据集使用编码工具首先需要加载编码工具，编码工具可以将抽象的文字转成数字，便于神经网络后续的处理，其代码如下：#定义数据集fromtransformersimportBertTokenizer,BertModel
♡Coisíní♡·2023-11-25 03:19

word2vec的算法原理（不用开源包，python实现）

以下是python直接实现的word2vec的算法，简单明了，读完就懂了importnumpyasnpdeftokenize(text):returntext.lower().split()defgenerate_word_pairs
lantx_SYSU·2023-11-24 06:30

Hadoop MapReduce数据去重程序

packagecom.hadoop.sample;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
GarfieldEr007·2023-11-24 05:28

transformer之KV Cache

非常有效的加速推理速度，效果如下所示：importnumpyasnpimporttimeimporttorchfromtransformersimportAutoModelForCausalLM,AutoTokenizerNAME_OR_PATH
Takoony·2023-11-24 04:24

大模型增量预训练参数说明

tokenizer_name_or_path分词器名称或者路径。如果进行了词表扩充或裁剪，则tokenizer_nam
hj_caas·2023-11-24 02:32

[nlp] RuntimeError: Llama is supposed to be a BPE model!报错解决

#tokenizer=AutoTokenizer.from_pretrained(BASE_MODEL)改成这个legacy=False,use_fast=False：tokenizer=AutoTokenizer.from_pretrained
心心喵·2023-11-23 19:44

BERT|add tokens后tokenizer一直加载中...

情况是：我用add_tokens()方法添加自己的新词后，BertTokenizer.from_pretrained(model)一直处于加载中。
柯薇求何·2023-11-23 14:11

Pytorch——Tokenizers相关使用

在NLP项目中，我们常常会需要对文本内容进行编码，所以会采tokenizer这个工具，他可以根据词典，把我们输入的文字转化为编码信息，例如我们本文信息是“我爱你”将转化为[2,10,3]，其中”我“在字典里对应数字
手把手教你学AI·2023-11-21 23:59

tokenizers models模块

模块概述在NLP处理中，分词的目标就是是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。有三种粒度，分别是word、subword、char。word/词，词，是最自然的语言单元。对于英文等自然语言来说，存在着天然的分隔符，如空格或一些标点符号等，对词的切分相对容易。但是对于一些东亚文字包括中文来说，就需要某种分词算法才行。顺便说一下，T
不负韶华ღ·2023-11-21 23:59

抱抱脸（hugging face）教程-中文翻译-使用 Tokenizers 的 tokenizers

使用Tokenizers的tokenizersPreTrainedTokenizerFast依赖于Tokenizers库。
wwlsm_zql·2023-11-21 23:59

tokenizers pre_tokenizers模块

模块介绍pre_tokenizers模块中最重要的一个类PreTokenizer，不仅将文本拆分为单词，还保留了偏移量，即原始文本中每个单词的开头和开头。
不负韶华ღ·2023-11-21 23:58

tokenizers Tokenizer类

基类原型tokenizers.Tokenizer(model)基类说明Tokenizer函数构造一个分词器对象。
不负韶华ღ·2023-11-21 23:57

BpeTrainer保存tokenizer

这里不是简单的save而是tokenizer.model.save('.')或者tokenizer.save(path="tokenizer.json",pretty=True)fromtokenizersimportTokenizer
追梦小狂魔·2023-11-21 23:22

tokenizers学习笔记

一、基于字母的分词方法将每个字符看作一个词。优点：不用担心未知词汇，可以为每一个单词生成词嵌入向量表示。缺点：由于字母缺乏内在含义，所以得到的词嵌入向量也缺乏含义。计算复杂度提升，字符（单个汉字）的数目大于token（词）的数目。输出序列的长度将变大，对于Bert、CNN等限制最大长度的模型将很容易达到最大值。二、基于子词的分词方法（SubwordTokenization）为了改进分词方法，在UN
AlphaFinance·2023-11-21 23:20

HuggingFace——Tokenizer的简单记录

Tokenizer[中文Course|API|详述文档]下载使用针对AutoTokenizer来说，如果是从在线仓库中下载，其是要访问：commit_hash=kwargs.get("_commit_hash
Charon_HN·2023-11-21 23:19

tokenizers＞=0.13.3 解决方案

在云GPU跑代码时，我的tokenizers=0.13.2但是需要tokenizers>=0.13.3才行，经过测试以下可行步骤：先卸载旧版本:pipuninstalltokenizers然后通过清华源下载
M2087·2023-11-21 23:18

tokenizers Tokenizer 类

Tokenizer类依赖安装pipinstalltensorflowpipinstalltensorflow-ihttps://pypi.tuna.tsinghua.edu.cn/simple基类原型tokenizers.Tokenizer
cliffordl·2023-11-21 23:46

[Muxi_k] laravel快速入门

laravel5.5安装laravel5.5服务器要求PHP>=7.0.0PHPOpenSSL扩展PHPPDO扩展PHPMbstring扩展PHPTokenizer扩展PHPXML扩展安装LaravelLaravel
Muxi_k·2023-11-21 08:23

Datawhale组队学习NLP_Bert文本分类学习笔记

使用Bert进行文本分类1数据的读入1.1TransformerDatasets1.1.1datasets.Metric2数据预处理2.1定义一个tokenizer2.2Datasets2.2.1检查数据格式
宝友你好·2023-11-21 01:02

大语言模型量化方法对比：GPTQ、GGUF、AWQ

delmodel,tokenizer,pipeimporttorchtorch.cuda.empty_cache()如果在jupyter中无法释放显存，请重启这个jupyterno
deephub·2023-11-20 12:49

文本向量化

文本向量化表示的输出比较importtimeimporttorchfromtransformersimportAutoTokenizer,AutoModelForMaskedLM,AutoModel#simcse
CodeWang_NC·2023-11-19 20:37

huggingface离线模式及默认保存路径

T5Tokenizer.from_pretrained()函数会在线下载huggingface上的模型，并自动保存在C盘的.cache路径下：C:\Users\xxxxx\.cache\huggingface
dataloading·2023-11-19 18:48

标准C++以及MFC6.0字符串的tokenize和split函数

标准C++字符串string以及MFC6.0字符串CString的tokenize和split函数。
ioriogami·2023-11-18 20:00

自定义ES分词器

（2）切词-tokenizer按照规则进行切词。（3）单词处理-tokenfilters将切词获取的单词进行加工。如大小写转化，删除stopwords,增加同义词等。
J_bean·2023-11-17 18:55

Java学习——blog 5

目录常用实用类String类创建字符串字符串长度连接字符串String常用方法StringTokenizer类方法详细解析Scanner类next()与nextLine()区别StringBuffer类
小王不想睡觉·2023-11-17 02:04

天池2023智能驾驶汽车虚拟仿真视频数据理解--baseline

baseline代码代码百度飞浆一键运行importpaddlefromPILimportImagefromclipimporttokenize,load_modelimportglob,json,osimportcv2fromPILimportImagefromtqdmimporttqdm_notebookimportnumpyasnpfromsklearn.preprocessingimpor
无盐薯片·2023-11-16 18:23

错误：ERROR:torch.distributed.elastic.multiprocessing.api:failed

但我是在多卡处理数据进行tokenizer阶段报错，这竟然也会出错，还没涉及到训练，有点不明所以。1.错误2.解决方法设置find_unused_parameters=True.3.参考[1]h
hj_caas·2023-11-16 17:32

如何用bert做微信公众号自动问答问题

transformer做特征提取，也不finetune，直接把他的输出接着往下面贯，具体如下：1用哈工大训练好的bert，这样程序自动拉pretrainedfromtransformersimportBertTokenizer
wangmarkqi·2023-11-16 15:14

owl_vit安装步骤

owl项目的clip目录与openai的clip重名了，import时容易找不到文件simple_tokenizer。
duoyasong5907·2023-11-16 10:21

ValueError: Couldn‘t instantiate the backend tokenizer from one of: (1) a `tokenizers` library seria

ValueError:Couldn'tinstantiatethebackendtokenizerfromoneof:(1)a`tokenizers`libraryserializationfile,(
E.K.江湖念书人·2023-11-14 16:40

Python离线翻译

importosfromflaskimportFlask,requestfromgeventimportpywsgifromtransformersimportpipeline,AutoModelWithLMHead,AutoTokenizerimportwarnings
zow·2023-11-14 13:34

NLTK下载punkt、stopsword

1、NLTK下载punkt并放置文件fromnltkimportword_tokenizesents=[sent1,sent2]print(word_tokenize(sent1))报错：D:\Anaconda3
饿了就干饭·2023-11-14 10:25

自定义Graph Component：1.2-其它Tokenizer具体实现

  本文主要介绍了Rasa中相关Tokenizer的具体实现，包括默认Tokenizer和第三方Tokenizer。
NLP工程化·2023-11-14 07:19

洛谷P1923 【深基9.例4】求第 k 小的数（java）

importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStreamReader;importjava.io.StreamTokenizer
！！！525·2023-11-14 01:14

seq2seq（tf2.0版本）

hidden_state)，output就是最后一个词语细胞的state中的hidden_state'''embedding_units=256units=1024input_vocab_size=len(input_tokenizer.word_index
nio006·2023-11-13 06:59

ElasticSearch之ngram分词器

edge_ngram和ngram是ElasticSearch自带的两个分词器，一般设置索引映射的时候都会用到，设置完步长之后，就可以直接给解析器analyzer的tokenizer赋值使用。
茅十八66·2023-11-12 16:22

【NLP】torch hub工具的使用：torch.hub.load、pytorch预训练模型加载

torch.hub工具进行模型的加载和使用.这些预训练模型由世界先进的NLP研发团队huggingface提供.加载和使用预训练模型的步骤:第一步:确定需要加载的预训练模型并安装依赖包.第二步:加载预训练模型的映射器tokenizer
你的橙子·2023-11-12 13:58

Nl2sql学习（1）：基于bert的baseline

kexue.fm/archives/6771，加入了自己对代码的标注理解importjsonfromkeras_bertimportload_trained_model_from_checkpoint,Tokenizerimportcodecsfromkeras.layersimport
一枚小白的日常·2023-11-12 10:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他