Tokenize

深度学习：自然语言处理（Tokenizer和pad_sequences）

在通过去除停用词得到相对干净的分词，在把每行处理成这样的形式（和TF-IDF一样的类型）数据处理完成在通过tf提供的分词器fromtensorflow.keras.preprocessing.textimportTokenizertk
龙寻天下·2022-11-23 20:27

基于CNN的情感分析（文本二分类）

1.数据的预处理在自然语言处理中，不可避开的话题就是词向量，我借助的是torchtext这个工具库来实现词向量的构建分词器deftokenize
LuKaiNotFound·2022-11-23 14:41

Transformers使用bert模型预留的[unused*]时遇到的问题：torch.embedding IndexError: index out of range in self

padding_idx,scale_grad_by_freq,sparse)IndexError:indexoutofrangeinself最后发现是因为改了bert预留的[unused*]导致的问题：tokenizer
持续战斗状态·2022-11-23 14:01

bert分词编码方法详解

bert编码方法：主要就两步：分词和编码1.分词：通过BasicTokenizer分词后，遍历每一个分词，将每一个词再经过WordpieceTokenizer分成子串deftokenize(self,text
凌陨心·2022-11-23 14:50

16_3_NLP RNNs Encoder Decoder 多头 Attention_complexity_max path length_sequential operations_colorbar

16_NLPstatefulCharRNN_window_Tokenizer_stationary_celab_ResetState_characterwordlevel_regex_IMDb:https
LIQING LIN·2022-11-23 07:07

16_4可变长度_pad_mask_plain seq-to-seq_有无状态attention_sampled softmax_ragged_rank_pylist_encod_gru_matsho

16_NLPstatefulCharRNN_window_Tokenizer_stationary_colab_ResetState_characterwordlevel_regex_IMDb:https
LIQING LIN·2022-11-23 07:06

Keras解决ImportError: cannot import name ‘pad_sequences‘ from ‘keras.preprocessing.sequence‘报错

.....in_seq,out_seq=seq[:i],seq[i]in_seq=pad_sequences([in_seq],maxlen=max_length)[0]......sequence=tokenizer
小白白程序员·2022-11-23 06:19

NLTK：Resource punkt not found. Please use the NLTK Downloader to obtain the resource

NLTK详细功能介绍…………………………hhhh更新ing提示Resourcepunktnotfound因为作业需要，就用了NLTK里面的分词（word_tokenize()），还有提取词干（PorterStemmer
PleaseBrave·2022-11-22 17:49

mmdetection mmcv-full 安装过程中CUDA_HOME错误解决

安装过程中cuda错误解决问题描述解决办法问题描述command:/home/fhz/anaconda3/envs/open-mmlab/bin/python-c‘importsys,setuptools,tokenize
阿小甘·2022-11-22 15:43

Mac M1安装transformers库

直接pipinstalltensorflow的话会报错比如报错：buildingwheelfortokenizers(pyproject.toml)…error或者whichisrequiredtoinstallpyproject.toml-basedprojects
叫什么无所谓234·2022-11-21 21:06

Cannot uninstall ‘PyYAML‘.【安装transformers失败解决方法】

因为入门了NLP，今天要用到bert，必须得有transformers`#pipinstalltransformersfromtransformersimportAutoTokenizer#使用预训练模型
rainbowiridescent·2022-11-21 21:03

NLP到Word2Vec实战-第一课

文章目录QANLTK一、概述1.定义2.安装NLTK3.安装语料库二、文本处理流程1.Tokenize——长句拆分成小部分2.中英文区别—中文没有空格（1）中文分词——jieba.cut()——一般要与
weixin_47082769·2022-11-21 18:49

tokenizer.encode_plus方法

tokenizer=AutoTokenizer.from_pretrained(DOWNLOADED_MODEL_PATH)tokens=tokenizer.encode_plus(txt,max_length
zephyr_wang·2022-11-21 18:21

pip安装Transformers时遇到的问题Failed to build tokenizers

我在使用pip安装transformers这个库的时候遇到Failedtobuildtokenizers，解决办法:condainstall-chuggingfacetransformers我的安装环境
毕节二龙哥·2022-11-21 17:42

pip安装transformers报错Failed to build tokenizers ERROR: Could not build wheels for tokenizers,

这可能是因为它自动安装的版本不太合适，如果使用condainstall-chuggingfacetransformers解决，会降低自己numpy等的版本，导致后续出现其他问题我在网上搜到一般使用3.4.0版本pipinstalltransformers==3.4.0我的python是3.6的，可以解决然后可能会和自己使用的框架版本不匹配，我开始使用的是tensorflow2.6,和这个版本的tr
weixin_44521580·2022-11-21 17:41

安装transformer失败

出现问题Buildingwheelfortokenizers(PEP517)...errorERROR:Commanderroredoutwithexitstatus1:command:/anaconda3
wanzi_antang·2022-11-21 17:40

成功解决pip/conda install cartopy安装失败问题

Commanderroredoutwithexitstatus1:command:/home/mlli/anaconda3/envs/deepsphere/bin/python-c'importsys,setuptools,tokenize
Meilinger_·2022-11-21 17:34

BertTokenizer 使用方法

python导入与初始化BertTokenizerfromtransformersimportBertTokenizertokenizer=BertTokenizer.from_pretrained(pretrained_model_name_or_path
Leri_X·2022-11-21 14:28

【bert训练自用】

bert训练自用#%%导入包fromtransformersimportBertTokenizer,BertModel,BertConfigfromtransformersimportAdamW,get_linear_schedule_with_warmupimporttorchimporttorch.nnasnnfromtorch.utils.dataimportDataset
Today_history·2022-11-21 13:39

基于 BERT 实现的情感分析(文本分类)----概念与应用

编码方式新的开始:Attention与Transformer模型四方来降:超一流预处理模型BERT诞生BERT实现情感分析数据预处理并创建数据集定义网络模型定义训练函数与评估函数设置损失函数、优化方法、BertTokenizer
Gaolw1102·2022-11-21 08:08

Tensorflow-Python-keras版本匹配

版本匹配代码运行问题解决方案代码运行问题操作：机器学习中对应用于神经网络的分类文本分词结果（allcutwords）进行编码并构建词典时，运行以下代码：fromkeras.preprocessing.textimportTokenizertokenizer
O_nice·2022-11-21 00:48

huggingface model finetune 报IndexError: index out of range in self

解决办法：inputs_ids=tokenizer.encode(text,truncation=True,padding='max_length',max_length=1000)tokenizer添加参数
xxyAI·2022-11-20 22:50

小黑大口啃初版baseline:Score Clinical Patient Notes提交部分代码

目录数据目录:1.将fasttokenizer导入transformers库里面2.config类定义3.导包4.加载tokenizer5.评价指标6.转换函数7.utils包8.数据读取9.超参数阈值选择
小黑无敌·2022-11-19 18:16

2022-kaggle-nlp赛事：Feedback Prize - English Language Learning

文章目录零、背景介绍0.1比赛目标0.2数据集0.3注意事项一、设置1.1导入相关库1.2设置超参数和随机种子1.3启动wandb二、数据预处理2.1定义前处理函数，tokenizer文本2.2定义Dataset
神洛华·2022-11-19 18:06

transformers库的使用【二】tokenizer的使用，模型的保存自定义

使用标记器（tokenizer）在之前提到过，标记器（tokenizer）是用来对文本进行预处理的一个工具。
桉夏与猫·2022-11-19 11:21

BERT使用技巧汇总

目录问题：tokenizer.basic_tokenizer.tokenize()和tokenizer.wordpiece_tokenizer.tokenize()的区别是什么？
AIMasterStar·2022-11-19 11:38

transformers库使用--tokenizer

在我使用transformers进行预训练模型学习及微调的时候，需要先对数据进行预处理，然后经过处理过的数据才能送进bert模型里，这个过程中使用的主要的工具就是tokenizer。
orangerfun·2022-11-19 11:36

基于TextRank算法的文本摘要（处理英文）（附Python代码）

的抽取式文本摘要（英文）手把手|基于TextRank算法的文本摘要（附Python代码）数据集tennis_articles_v4.csvGloVe词向量下载链接知识补充将英文文章按照句子拆分英文的用这个nltk.tokenize
Gabriel_wei·2022-11-19 07:43

bert 模型参数统计

模型参数量分析使用huggingfacetransformers中的bert模型，分析统计模型的参数量huggingface模型导入importtorchfromtransformersimportBertTokenizer
真的只会一点点·2022-11-19 06:34

tensor二维矩阵计算相似度

注意：计算相似度时必须保证两个矩阵维度相同，否则报错importtorchfromtransformersimportBertConfig,BertModel,BertTokenizerdefbert_output
想念@思恋·2022-11-16 17:33

ES中的分词器

2019独角兽企业重金招聘Python工程师标准>>>一、概念介绍全文搜索引擎会用某种算法对要建索引的文档进行分析，从文档中提取出若干Token(词元)，这些算法称为Tokenizer(分词器)，这些Token
weixin_34342992·2022-11-15 18:25

ES分词器用法简述

一，分词器char_filterPOST_analyze{"char_filter":["html_strip"],"tokenizer":"standard","text":"jam"}//characterfilterPOST_analyze
大数据男·2022-11-15 18:34

ElasticSearch各种分词器

1.ES分词器分词器是专门处理分词的组件，Analyzer由三部分组成：CharacterFilters、Tokenizer、TokenFilters。
william_cr7·2022-11-15 18:26

【ES实战】ES分词器介绍

文章目录ES分词器介绍什么是分词器分词器的组成CharacterfiltersTokenizersTokenfilters分词的过程写入时分词搜索时分词测试分词效果分词器的分类使用示例以StandardAnalyzer
顧棟·2022-11-15 18:56

【Paddle NLP入门打卡】实践课1：词向量应用演示 学习笔记

文章目录1.下载配置Embedding2.认识Embedding3.将词向量映射到低维空间4.基于TokenEmbedding的词袋模型5.构造Tokenizer5.2查看相似语句相关度6.使用可视化VisualDL
FeverTwice·2022-11-15 07:42

C++ Boost Tokenizer使用详细讲解

目录介绍示例一示例二示例三示例四示例五示例六示例七介绍库Boost.Tokenizer允许您通过将某些字符解释为分隔符来迭代字符串中的部分表达式。
·2022-11-13 18:58

Hugging Face主页课程第二篇《 Using Transformers》

UsingTransformers文章目录UsingTransformers本章简介1.Transformers简介2.管道背后的故事tokenizer预处理Goingthroughthemodel高维向量
神洛华·2022-11-12 17:07

java多线程替换字符_Java基础--常用API--字符串相关API

java.lang.StringBuffer、java.lang.StringBuilder三、String、StringBuffer、StringBuilder的区别四、java.util.StringTokenizer
胡思乱想的小朋友·2022-11-10 14:09

线上系统性能太差，我手写了字符串切割函数，性能提升10倍以上

JDK提供字符串切割工具类StringTokenizer手把手带你实现一个更高效的字符串切割工具类总结今天给大家介绍一个小知识点，但是会非常的实用，就是平时我们写Java代码的时候，如果要对字符串进行切割
石杉的架构笔记·2022-11-07 11:03

加载预训练模型的两种方式

通过huggingface快速加载importtransformersfromtransformersimportBertTokenizer,BertModeltokenizer=BertTokenizer.from_pretrained
石头猿rock·2022-11-04 09:20

利用hugging face的Transformers实现多标签文本分类

笔者的tensorflow版本为2.4.0，transformers的版本为4.2.0数据处理利用transformers中的BertTokenizer对数据进行Tokenizer。代码如下：de
xuanningmeng·2022-10-28 10:55

Hugging Face Bert模型结构

BertEmbeddingsmodeling_bert主要包含内容：1.如何实现BertBERTTokenization分词模型（BertTokenizer）BERTModel本体模型（BertModel
gbchen99·2022-10-28 09:19

通俗理解DDPM：生成扩散模型

说到生成模型，VAE、GAN可谓是“如雷贯耳”，此外，还有一些比较小众的选择，如flow模型、VQ-VAE等，也颇有人气，尤其是VQ-VAE及其变体VQ-GAN，近期已经逐渐发展到“图像的Tokenizer
nocol.·2022-10-27 17:29

NLP冻手之路(1)——中文/英文字典与分词操作(Tokenizer)

✅NLP研0选手的学习笔记文章目录一、需要的环境二、字典的使用三、简单的编码与解码四、增强的编码与解码五、批量的编码与解码五、批量成对的编码与解码六、补充说明一、需要的环境●python需要3.6+，pytorch需要1.10+●本文使用的库基于HuggingFaceTransformer，官网链接：https://huggingface.co/docs/transformers/index【一个
一支王同学·2022-10-22 22:29

NLP冻手之路(2)——文本数据集的下载与各种操作(Datasets)

数据集的操作4.1排序与打乱4.2选择和过滤4.3切分和分桶4.4列的新增、删除和重命名4.5map函数4.6保存与加载五、小结六、补充说明上一篇文章链接:NLP冻手之路(1)——中文/英文字典与分词操作(Tokenizer
一支王同学·2022-10-22 22:58

pip install gym[box2d]报错

ERROR:Commanderroredoutwithexitstatus1:command:'E:\Anaconda\python.exe'-u-c'importio,os,sys,setuptools,tokenize
小帅吖·2022-10-17 10:05

Hugging Face 预训练模型的下载及使用

在本地建个文件夹：mkdir-fmodel/bert/bert-base-chinese将config.json、pytorch_model.bin(与tf_model.h5二选一，用什么框架选什么)、tokenizer.json
cxxx17·2022-09-24 21:45

Scanner的各种用法

它是以前的StringTokenizer和Matcher类之间的某种结合。由于任何数据都必须通过同一模式的捕获组检索或通过使用一个索引来检索文本的各个部分。
disgare·2022-09-14 02:35

ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based...

error:can'tfindRustcompilerIfyouareusinganoutdatedpipversion,itispossibleaprebuiltwheelisavailableforthispackagebutpipisnotabletoinstallfromit.InstallingfromthewheelwouldavoidtheneedforaRustcompiler.T
JOJO黄金之风·2022-09-12 07:01

Elasticsearch：从零开始构建一个定制的分词器

Elasticsearch提供了大量的analyzer和tokenizer来满足开箱即用的一般需求。有时，我们需要通过添加新的分析器来扩展Elasticsearch的功能。
Elastic 中国社区官方博客·2022-09-08 17:37
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他