Tokenizer

ElasticSearch分词器和相关性详解

目录ES分词器详解基本概念分词发生时期分词器的组成切词器：Tokenizer词项过滤器：TokenFilter停用词同义词字符过滤器：CharacterFilterHTML标签过滤器：HTMLStripCharacterFilter
山鸟与鱼！·2024-02-19 22:42

peft库编写逻辑分析

LLaMa+prefix为例）Peft库加载finetune模型分析Peft生成代码importtorchfrompeftimportPeftModelfromtransformersimport(LlamaTokenizer
瓶子好亮·2024-02-19 15:17

NLP快速入门

p=1&vd_source=3f265bbf5a1f54aab2155d9cc1250219参考文档链接1：NLP知识点：Tokenizer分词器-掘金(juejin.cn)一、分词分词是什么？
Knoka705·2024-02-15 09:10

使用模型Helsinki-NLP/opus-mt-en-zh实现英译中

googlecodlab运行需要5秒fromtransformersimportAutoModel,AutoTokenizer,MarianMTModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:18

在pipeline中使用distilbert-base-uncased-finetuned-sst-2-english模型做sentiment-analysis情感分析

googlecolab运行成功：fromtransformersimportAutoTokenizer,AutoModel,pipelinefromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-14 11:48

huggingface pipeline零训练样本分类Zero-Shot Classification的实现

('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')fromtransformersimportMBartForConditionalGeneration,MBart50TokenizerFastfromtransformersi
hehui0921·2024-02-14 11:47

大模型Tokenizer知识

Byte-PairEncoding(BPE)如何构建词典？Byte-PairEncoding（BPE）是一种常用的无监督分词方法，用于将文本分解为子词或字符级别的单位。BPE的词典构建过程如下：初始化词典：将每个字符视为一个初始的词。例如，对于输入文本"helloworld"，初始词典可以包含{'h','e','l','o','w','r','d'}。统计词频：对于每个词，统计其在文本中的频率。例
lichunericli·2024-02-13 21:39

Stable Diffusion WebUI linux部署问题

当我部署好环境后，准备大张旗鼓开搞时，进入项目地址运行pythonlaunch.py后发现下面连接着的报错是OSError:Can'tloadtokenizerfor'openai/clip-vit-large-patch14
SuperB666·2024-02-13 14:58

huggingface pipeline使用模型THUDM/chatglm3-6b

fromtransformersimportAutoTokenizer,AutoModelfromtransformersimportAutoModelForSeq2SeqLMfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

使用模型bigscience/mt0-large实现中文到英文的翻译

cpu版本fromtransformersimportAutoTokenizer,AutoModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

使用huggingface pipeline实现文本翻译

('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')fromtransformersimportMBartForConditionalGeneration,MBart50TokenizerFastarticle
hehui0921·2024-02-13 09:04

Java Scanner 类

它是以前的StringTokenizer和Matcher类之间的某种结合。由于任何数据都必须通过同一模式的捕获组检索或通过使用一个索引来检索文本的各个部分。
S0fM·2024-02-12 21:59

ES实战--mapping.json 和 populate.sh 适配es8

number_of_shards":2,"number_of_replicas":1,"analysis":{"analyzer":{"myCustomAnalyzer":{"type":"custom","tokenizer
wzerofeng·2024-02-12 16:55

Pipeline是如何运行

pipeline的两个重要组件模型（Models类）和分词器（Tokenizers类）的参数以及使用方式。
月疯·2024-02-10 13:06

tokenizers decoders模块

decoders模块中Decoder主要用于解码pre_tokenizers模块中PreTokenizer使用的特殊字符，比如pre_tokenizers模块中Metaspace，将空格转换成下划线，通过
不负韶华ღ·2024-02-09 19:51

llama原始模型如何tokenize中文

加载分词器：tokenizer=AutoTokenizer.from_pretrained(model_name_or_path)model=LlamaForCausalLM.from_pretrained
Takoony·2024-02-09 19:21

Finetune时更改tokenizer词表

由于模型训练的需要，当前词表对分词操作不理想，因此选择修改tokenizer词表～在special_tokens中添加不想被拆分开的单词或者文字special_tokens=[]withopen("待添加词所在文件
Alicesla·2024-02-09 19:20

tokenizer()和tokenizer.encode_plus()的区别

encoding=self.tokenizer(text,add_special_tokens=True,#句子开头和分隔加clssep[cls]+text+[sep]max_length=self.max_len
CHY_   ·2024-02-09 19:20

关于LLaMA Tokenizer的一些坑...

使用LLaMATokenizer对jsonl文件进行分词，并将分词结果保存到txt文件中，分词代码如下：importjsonlinesimportsentencepieceasspmfromtqdmimporttqdmjsonl_file
Iareges·2024-02-09 19:50

GPT-3 训练自己的数据教程详解

fromtransformersimportGPT2Tokenizer,GPT2LMHeadModelmodel_name="gpt2"#或"gpt2-med
mqdlff_python·2024-02-08 06:30

引入BertTokenizer出现OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.

今天在跑一个模型的时候出现该报错，完整报错为：OSError:Can'tloadtokenizerfor'bert-base-uncased'.Ifyouweretryingtoloaditfrom'https
ALGORITHM LOL·2024-02-07 07:34

Task04 编写BERT模型

1BertTokenizer（Tokenization分词）组成结构：BasicTokenizer和WordPieceTokenizerBasicTokenizer主要作用：按标点、空格分割句子，对于中文字符
def1037aab9e·2024-02-07 06:46

【hugging face无法加载预训练模型】OSError：Can‘t load config for ‘./bert-base-uncased‘. If you‘re trying

/bert-base-uncased')tokenizer=BertTokenizer.from_pretrained('.
小白冲鸭·2024-02-07 06:15

hadoopwordcount代码分析

importjava.io.IOException;//java输入输出文件异常类importjava.util.Iterator;Iterator是迭代器类importjava.util.StringTokenizer
姹紫_嫣红·2024-02-07 05:57

【部署大模型的准备工作】

projects/ShareGPT4V项目地址模型文件里config.json有个参数改成下载token的模型builderOSError:Can’tloadtokenizerfor‘bert-base-uncased
Selvaggia·2024-02-06 05:18

蓝桥杯快读快写

staticPrintWriterpw=newPrintWriter(newBufferedWriter(newOutputStreamWriter(System.out)));staticStreamTokenizerst
miss you ya·2024-02-05 15:33

Python 处理小样本数据的文档分类问题

#导入必要的库fromtransformersimportBertTokenizer,BertForSequenceClassificationim
田猿笔记·2024-02-05 11:50

图论练习2

*;importjava.math.BigInteger;importjava.util.PriorityQueue;importjava.util.StringTokenizer
Xing_ke309·2024-02-04 11:50

LLM - ChatGLM-6B Lora 微调与推理

目录一.引言二.环境准备三.ChatGLM-6BLora微调1.样本准备ByJson2.样本生成ByTokenizer3.模型生成ByTrainer四.ChatGLM-6BLora文本生成1.文本生成ByChat2
BIT_666·2024-02-02 20:33

大语言模型量化方法对比：GPTQ、GGUF、AWQ

delmodel,tokenizer,pipeimporttorchtorch.cuda.empty_cache()如
javastart·2024-02-02 17:48

部署运行ai智障写作记录【ChatRWKV】

2.安装一些pip库numpy、tokenizers、prompt_toolkit3.安装pytorch1.13.1+CUDA11.7二、运行记录1、下载代码2、下载训练参数3、编辑代码运行总结前言看到知乎一篇教程
lyk_dtf·2024-01-31 19:24

使用 Pegasus-t5 预训练模型遇到问题解决

问题&解决需要手动把tokenizer相关文件进行调整到当前文件夹下，并修改data_utils中fengshen的地址transformers版本降低为4.29.1否则会找不到vocabdemo代码fromtransformersimportPegasusF
be_humble·2024-01-31 07:28

剖析Elasticsearch面试题：分词、倒排索引、文本相似度TF-IDF，揭秘分段存储与段合并，解密写索引技巧，应对深翻页问题的实用解决方案！

以下是一些关键点：分词器（Tokenizer）：Elasticsearch使用
LiuSirzz·2024-01-30 18:09

bert提取词向量比较两文本相似度

预训练模型做词嵌入（文本转向量）模型下载：bert预训练模型下载-CSDN博客参考文章：使用bert提取词向量下面这段代码是一个传入句子转为词向量的函数fromtransformersimportBertTokenizer
木下瞳·2024-01-30 10:15

Elasticsearch中的分词器的基本介绍以及使用

目录一、分词器的基本概念二、分词器类别（1）默认分词器（2）IK分词器（3）拼音分词器（4）自定义分词器一、分词器的基本概念在Elasticsearch中，分词器（Tokenizer）是一个用于将文本数据分割成单独的词汇单元的组件
菜到极致就是渣·2024-01-29 09:01

利用“bert模型”预测英语“完形填空”答案

这个库我是第一次用啊，需要去pipinstall或者condainstall：importnumpyasnpimporttorchfrompytorch_pretrained_bertimportBertTokenizer
野生的野蛮人·2024-01-29 08:41

bert实现完形填空简单案例

博客通过这个案例来了解一下怎么使用预训练模型来完成下游任务，算是对怎么使用bert的流程有一个初步的了解，代码都写注释了，直接看代码注释就好：importtorchfromtransformersimportBertTokenizer
木下瞳·2024-01-29 08:06

【深度学习】sdxl中的 tokenizer tokenizer_2 区别

代码仓库：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main截图：为什么有两个分词器tokenizer和tokenizer
XD742971636·2024-01-28 21:59

显存不够又想用某个模型时的模型量化操作

fromtransformersimportAutoTokenizer,AutoModelForCausalLM,BitsAndBytesConfigquantization_config=BitsAndBytesConfig
鱼鱼9901·2024-01-28 20:00

transformers 部署

由于已经有conda和pycharm，而且感觉python3.6比较老，因此打算安装python3.10，后来发现好像不支持tokenizers，又重新安装python3.9.1、condacreate-nenv_namepython
javastart·2024-01-28 05:20

[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

分类:大语言模型LLM视觉模型VLM扩散模型视觉语言导航VLN具身智能，机器人强化学习开放词汇，检测分割[晓理紫]每日论文分享(有中文摘要，源码或项目地址)==LLM==标题:SpeechTokenizer
晓理紫·2024-01-28 05:10

安装SDXL时tokenizers报错

error:casting&Tto&mutTisundefinedbehavior,evenifthereferenceisunused,considerinsteadusinganUnsafeCelltokenizers
Zqchang·2024-01-28 05:18

使用 Spark MLlib 使用 jieba 分词训练中文分类器

{JiebaSegmenter,WordPunctTokenizer}objectChineseTextClas
DreamNotOver·2024-01-27 07:45

Stable-diffusion安装时Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘2种解决方案

在安装Stable-diffusionWebuUI时，运行pythonlaunch.py出现Can‘tloadtokenizerfor‘openai/clip-vit-large-patch14问题，这是因为安装过程中需要去
lanlinbuaa·2024-01-26 07:02

书生·浦语大模型训练营

(平台有点不太会用，一会连接就断开了，后续更新图片)importtorchfromtransformersimportAutoTokenizer,AutoModel
__y__·2024-01-25 08:57

使用Transformers做基于BERT的情感六分类

版本：python==3.8.6torch==1.10.0transformers==4.36.2datasets==2.15.0fromtransformersimportBertTokenizerfromtorch.utils.dataimportDataLoader
Shy960418·2024-01-25 07:56

Python 猎户星空Orion-14B，截止到目前为止，各评测指标均名列前茅，综合指标最强；Orion-14B表现强大，LLMs大模型

2.训练过程1）.其预训练数据构成2）数据的Tokenizer长度3）模型结
医学小达人·2024-01-24 11:55

如何用 500 行 SQL 实现 GPT2学习

目录理论背景实现过程GenerationTokenizerEmbeddingsAttention为什么我们需要有因果掩码？为什么矩阵是Q，K和V？
jialun0116·2024-01-23 17:36

php构建tokenizer扩展失败

使用phpize构建tokenizer扩展cdphp-8.2.0/ext/tokenizer//usr/local/php/bin/phpize.
qq_20376949·2024-01-22 20:23

【llm 使用llama 小案例】

huggingfacehttps://huggingface.co/meta-llamafromtransformersimportAutoTokenizer,LlamaForCausalLMPATH_TO_CONVERTED_WEIGHTS
放飞自我的Coder·2024-01-21 13:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他