vocab

Nezha预训练备份

build_model_and_tokenizer(args)defbuild_model_and_tokenizer(args):tokenizer=BertTokenizer.from_pretrained(args.vocab_path
junjian Li·2023-02-06 13:15

深度学习实战（4）如何向BERT词汇表中添加token，新增特殊占位符

其他占位符接口报错与解决方案问题表述在实际应用或者学术科研过程中，我们常常需要添加一些特殊的占位符，然而我们希望使用BERT来做embedding，有兴趣查看BERT本身词汇表的可以去以下相应连接查看：PRETRAINED_VOCAB_FILES_MAP
icebird_craft·2023-02-05 15:31

Pytorch transformers tokenizer 分词器词汇表添加新的词语和embedding

例如，在bert预训练模型中，并不包含财经词汇，比如‘市盈率’等财务指标词汇，本文将介绍：如何把专业名词添加到词汇表中方法1：修改vocab方法2：更通用，修改分词器tokenizer如何保留现有模型能力
浪漫的数据分析·2023-02-05 15:00

二次调用 tf.get_variable 例如双塔模型时解决方法

例如双塔模型解决方法embedding_table=tf.get_variable(#[vocab_size,embedding_size]name=word_embedding_name,shape=
博朗的向日·2023-02-04 13:51

BERT 原理代码分析

input_ids大小：[batch_size,seq_length,1]词id编码-tokenembedding/embedding_lookup_factorized设置embedding_table大小[vocab_size
博朗的向日·2023-02-04 13:09

小布助手对话短文本语义匹配阅读源代码1--build_vocab.py understand

小布助手对话短文本语义匹配对于大佬这段代码的解读首先进入build_vocab.py之中，查看形成词表的过程关键代码counts=[3,5,3,3,5,5]接下来调用词频形成新的vocab.txt的词表过程
唐僧爱吃唐僧肉·2023-02-02 18:33

【solved】OverflowError: Python int too large to convert to C long.

torchtext.data.Field(sequential=True)LABEL=torchtext.data.Field(sequential=False,dtype=torch.long,use_vocab
cx元·2023-02-02 12:24

pytorch学习笔记（十九）：torchtext

学习笔记版权文章部分翻译自http://anie.me/On-Torchtext/API一览torchtext.datatorchtext.data.Example:用来表示一个样本，数据+标签torchtext.vocab.Vocab
AiA_AiA·2023-02-01 13:20

SLAM第十一讲实践：【回环检测】DBoW3安装以及用ORB特征创建字典，回环相似度检测，增加字典规模再回环检测的详细实践

feature_training.cpp中的数据集路径2.3输出3相似度的计算3.1修改cmake3.2修改loop_closure.cpp中的数据集路径3.3输出4增加字典规模4.1修改cmake4.2获取扩展数据集4.3修改gen_vocab_large.cpp4.4
老张高手·2023-01-26 10:43

82.长短期记忆网络（LSTM）以及代码实现

importtorchfromtorchimportnnfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab=d2l.load
chnyi6_ya·2023-01-20 07:08

如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用

首先找到这些文件的网址。以bert-base-uncase模型为例。进入到你的.../lib/python3.6/site-packages/transformers/里，可以看到三个文件configuration_bert.py，modeling_bert.py，tokenization_bert.py。这三个文件里分别包含BERT_PRETRAINED_MODEL_ARCHIVE_MAP={"
王椗·2023-01-18 12:31

Attention Is All You Need的理解以及pytorch实现transformer框架

#n_src_vocab
v1dv1dv1d·2023-01-14 20:11

BERT：训练数据生成代码解读

/sample_text.txt\  --output_file=/tmp/tf_examples.tfrecord\  --vocab_f
小杨算法屋·2023-01-13 17:55

keras.losses中 reduction=‘none‘的用法

以循环神经网络为例，pred的形状是(batch_size,num_steps,vocab_size)，label的形状是(batch_size,num_steps）。
muyuu·2023-01-13 09:47

bert4keras使用中的一些问题

frombert4keras.tokenizersimportTokenizerdict_path='D:/Ai/model/electra-small/vocab.txt'tokenizer=Tokenizer
HGlyh·2023-01-10 10:55

Bert中文vocab ##的作用

ThisisthecharacterusedtodenoteWordPieces,it’sjustanartifactoftheWordPiecevocabularygeneratorthatweuse,butmostofthosewordswereneveractuallyusedduringtraining(forChinese).Soyoucanjustignorethosetokens.N
eryihahaha·2023-01-09 16:31

NLP（五十一）在BERT模型中添加自己的词汇

  不论是Tensorflow版本或者PyTorch版本的NLP预训练模型，我们都会在模型文件中看到vocab.txt文件，这个文件就是该预训练模型的词汇表。
山阴少年·2023-01-09 16:26

BERT和ERNIE中[PAD],[CLS],[SEP],[MASK],[UNK]所代表的含义

在BERT和ERNIE等预训练模型的词汇表文件vocab.txt中，有[PAD],[CLS],[SEP],[MASK],[UNK]这几种token，它们代表的具体含义如下：1，[PAD]要将句子处理为特定的长度
CrystalheartLi·2023-01-09 16:55

关于返回值超出范围的解决测试

问答-Python中文网按照上面的文章，应该修改以下代码的kernel_numkernel_num=64#卷积核数model=text_cnn(seq_length=seq_length,#初始化模型vocab_size
夜间出没的AGUI·2023-01-08 08:38

Bert Chinese-Text-Classification-Pytorch 遇到的问题汇总

基于Bert的中文文本分类预训练模型地址：Chinese-Text-Classification-Pytorch问题1：上面给的vocab.txt地址无法下载下载地址：vocab.txt选择下图这个就好
Die Young?·2023-01-04 10:08

词向量存pkl格式

importosimportnumpyasnpdefload_cn_wiki_wordvec(s_word_vec_path):n_vocab_num=0n_word_dim=0m_word_vec={
艾鹤·2023-01-01 13:33

【学习4】LSTM语料词典的生成

\data'json_file='IUdata_trainval.json'vocab_dir=r'.
iviyandyssg·2023-01-01 13:30

transformers本地加载roberta模型pytorch

1024，在该网站下载模型文件：roberta-baseatmain(huggingface.co)所需的有config.json,merges.txt,pytorch_model.bin(下载后重命名),vocab.json
Arms206·2022-12-31 17:00

关于使用torch.load()出现invalid argument错误的解决办法

在使用pytorch和torchtext做NLP相关工作时，发现使用vectors=torchtext.vocab.Vectors(name='D:/data/glove.840B.300d.txt',
se77en2·2022-12-31 16:28

错误处理--CUDA error: device-side assert triggered（很有效）

embeding中词的总数设小了在函数nn.Embedding(vocab_size,embedding_dimension)中参数vocab_size为你字典的总词数，如果在训练中有编号>len(字典
龙今天超越了自己·2022-12-31 12:18

keras.layers.Embedding及加载预训练word2vec

keras.layers.Embedding主要参数：input_dim：词汇表的大小，即len(vocab)output_dim：嵌入向量的维度input_length：输入样本的长度输入尺寸：(batch_size
comeonfly666·2022-12-30 11:24

动手学习深度学习（总结梳理）——23. 循环神经网络从0开始实现

matplotlibinlineimportmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab
TheFanXY·2022-12-30 10:18

transformer在翻译时的实际做法

self-attention，self-attention可参考：图解transformer李宏毅老师的transform一、机器翻译对于机器翻译而言，分为源语言与目的语言（如英文与中文)对源语言建立词典，大小为src_vocab_size
ssx_go·2022-12-29 15:18

GPT-2之文本生成

BPE算法原文中对BPE算法的实现：importreimportcollectionsdefget_stats(vocab):pairs=collections.defaultdict(int)forword
weixin_43351935·2022-12-26 11:13

NLP-拼写纠错（spell correction）实战

#词典库vocab=set([line.rstrip()forlineinopen('vocab.txt')])#用set效率高一些(时间复杂度)#print(vocab,l
呆小呆_·2022-12-26 10:02

拼写纠错

importnumpyasnp#词典库vocab=set([line.rstrip()forlineinopen('.
qq_42819269·2022-12-26 10:02

NLP项目（二）——拼写纠错

目录前言一、数据集介绍1-1、spell-errors.txt1-2、vocab.txt1-3、testdata.txt二、拼写纠错代码Part0：构建词库Part1：生成所有的候选集合Part2：读取语料库
ㄣ知冷煖★·2022-12-26 10:00

【Torchtext】Torchtext.Vocab、Torchtext.data.BucketIterator、build_vocab函数以及Torchtext.vocab.Vectors

在对文本的预处理过程中，我们首先要使用build_vocab（）生成一个词汇表，而这个方法的具体作用是将这个方法的参数传递给ClassVocab（）来具体实例化一个对象，在实例化的过程中，需要用到预先处理好的词向量
neu_eddata_yjzhang·2022-12-25 16:37

torchtext使用教程

API一览torchtext.datatorchtext.data.Example:用来表示一个样本，数据+标签torchtext.vocab.Vocab:词汇表相关torchtext.data.Datasets
lijiaqi0612·2022-12-25 16:07

Seq2SeqEncoder和mask

importcollectionsimportmathimporttorchfromtorchimportnnfromd2limporttorchasd2lclassSeq2SeqEncoder(d2l.Encoder):def__init__(self,vocab_size
Marshal～·2022-12-24 19:01

tf2中feature_columns与keras model的结合使用

tensorflow>=2.4的情况下：importtensorflowastffromtensorflow.kerasimportlayersdeftrain_save_model():genre_vocab_list
醉意流年go·2022-12-23 08:15

tensorflow中embedding计算原理

#vocab_size:词表数量#embedding_dim:词嵌入后维度tf.keras.layers.Embedding(vocab_size,embedding_dim)假设有一句话，Iloveyouvocab_size
海滩上的那乌克丽丽·2022-12-23 07:24

从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（10）

importnumpyasnpimportpandasaspdimportpickleimporttorchimporttorch.nnasnnfromtorchtext.vocabimportbuild_vocab_from_iteratorfromtorchtext.data.functionalimportsimple
moronism189·2022-12-22 13:41

【pyTorch】torch下的网络如何对文本进行embedding操作

fromtorchimportnnimporttorchfromtorch.nnimportfunctionalasFclassTextNet(nn.Module):def__init__(self,vocab_size
zkq_1986·2022-12-21 19:56

Transformer实现以及Pytorch源码解读（二）-embedding源码分析

Embedding使用方式如下面的代码中所示，embedding一般是先实例化nn.Embedding(vocab_size,embedding_dim)。
摩天崖FuJunWANG·2022-12-21 06:34

深度学习文本分类模型使用TextPruner实战

#完全不适用剪枝手段，模型占GPU121->687->1447M#采用剪枝手段后，模型占GPU121->617->1377M"""采用Transformer裁剪后，剪枝后生成的文件夹内是不包含vocab.txt
南楚巫妖·2022-12-21 05:25

手动学A1——RNN

importmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l#加载数据batch_size,num_steps=32,35#批量大小，步长train_iter,vocab
jigsaw_zyx·2022-12-20 18:03

手动学A1——RNN

importmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2l#加载数据batch_size,num_steps=32,35#批量大小，步长train_iter,vocab
jigsaw_zyx·2022-12-19 15:53

Keras 搭建模型问题AttributeError: 'NoneType' object has no attribute '_inbound_nodes'解决

NoneType'objecthasnoattribute'_inbound_nodes'问题原因是在模型中存在layers和函数方法混用的情况，循着代码找到我的函数defget_model(Tx,Ty,x_vocab_size
打卡啊·2022-12-19 12:45

python2.7和python3.8代码兼容中的问题汇总

错误1：learn.preprocessing.VocabularyProcessorpython2.7中使用了learn.preprocessing.VocabularyProcessor处理词汇：vocab_proce
填坑小霸王·2022-12-14 23:58

文本预处理方法总结

数据的预处理项目需要，需要进行词库训练与样本向量化处理，总结后有以下4种方法：方法1：tf1.xx版本：词汇样本的处理：使用tensorflow.contrib.learn模块vocab_process
填坑小霸王·2022-12-14 23:24

Transformers Roberta如何添加tokens

前提最近用roberta模型需要添加specialtokens，但每次运行在GPU上会报错（上面还有一堆的block）而在CPU上则报错网上搜了很多资料，说是如果增加了specialtokens或是修改了vocab.txt
Vincy_King·2022-12-14 08:03

文本摘要解决方案—不同版本的baseline模型和Bert预训练模型

数据准备：创建vocab.json文件，存放字典表，填充字符padding、unk、start和end标记在字典表前4位ifos.path.exists('voca
qq_19840551·2022-12-13 09:12

循环神经网络——RNN

importmathimporttorchfromtorchimportnnfromtorch.nnimportfunctionalasFfromd2limporttorchasd2lbatch_size,num_steps=32,35train_iter,vocab
哆啦AI梦·2022-12-11 22:44

transformer使用示例

序列标注参考文件transformer_postag.py.1.加载数据12#加载数据train_data,test_data,vocab,pos_vocab=load_treebank()其中lo
ox180x·2022-12-11 09:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他