vocab

分享一个按行写入和读取datasets的经典函数

按行写入defwrite_vocab(vocab,filename):"""WritesavocabtoafileWritesonewordperline.Args:vocab:iterablethatyieldswordfilename
雨夜声烦·2019-12-25 01:45

实体命名识别详解（九）

#Buildandsavecharvocabtrain=CoNLLDataset(config.filename_train)vocab_chars=get_char_vocab(train)write_vocab
雨夜声烦·2019-12-14 04:25

分享一个将文本单词转为id并存储的函数

先介绍word2id转换程序，映射字典存储为vocab.pickle文件#!
雨夜声烦·2019-11-29 02:45

gensim 词向量工具

38053.gensim训练词向量的代码特别简单：model=gensim.models.Word2Vec(sentences,size=100,window=5,min_count=3,sg=1,max_vocab_size
梁新彦·2019-11-03 00:49

15Seq2Seq实战语言翻译(2)

1.加载数据#Englishsourcedatawithopen("data/small_vocab_en","r",encoding="utf-8")asf:source_text=f.read()#
弟弟们的哥哥·2019-10-22 17:57

python n-gram语言模型 kenlm 傻x 式安装 以及使用

省事安装完后直接找到预料训练的时候执行，在build文件里执行：bin/lmplz--minimum_block1M--vocab_estimate100--block_
地主家的小兵将·2019-09-29 13:18

【TEACH-NLP】词向量预处理-抽取词向量

【提要】一、这里我们要用到之前的两个文件：vocab.txt#词表vec.bin#词向量表二、还要生成一个新的文件来保存抽取出来的词向量：select_vocab.txt#抽取出的词向量三、要保证抽取出的词向
码世界-·2019-09-29 11:06

RNN文本生成-TensorFlow2.0实现

train_file,encoding='utf-8')asf:text=f.read()text=text.split()#获取频繁词word_counts=Counter(text)#按key降序排列sorted_vocab
Forlogen·2019-09-16 10:10

pytorch如何使用预训练的词向量

  这个方法是在pytorch中将词向量和词对应起来的一个方法.一般情况下,如果我们直接使用下面的这种:self.embedding=torch.nn.Embedding(num_embeddings=vocab_size
kejizuiqianfang·2019-09-14 11:30

【TeachNLP】文本数据处理-词表获取

自然语言——>编号——>向量当我们拿到一段文本，首先要统计出词表，并把词表保存成vocab.txt，方便后续使用。
码世界-·2019-09-09 17:59

实现Word2Vec模型(Skip-Gram)：TensorFlow版本

计数器，统计字符出现的个数）、单词映射表 #筛选低频词 words_count=Counter(words) words=[wforwinwordsifwords_count[w]>50] #构建映射表 vocab
姬香·2019-09-05 00:00

The Annotated Transformer（二）

defmake_model(src_vocab,tgt_vocab,N=6,d_model=512,d_ff=2048,h=8,dropout=0.1):"提示：从超参数构建模型。"
山夏蔷薇·2019-09-04 17:36

关于tensorflow dataset API(map) 的一些学习记录----NMT

创建数据集：1`#词表src_vocab_table=lookup_ops.index_table_from_tensor(tf.constant(["a","b","c","eos","sos"]))
HuHu & HeHe·2019-09-03 23:51

tensorflow实现skipgram模型

='']vocabularys_list.extend(raw_words)2、查看语料库信息、包括词频数、最高词频词语排序：vocab_list=sorted(vocab_dict.items(),key
三不小青年·2019-08-08 15:21

tensorflow实现skipgram模型

='']vocabularys_list.extend(raw_words)2、查看语料库信息、包括词频数、最高词频词语排序：vocab_list=sorted(vocab_dict.items(),key
三不小青年·2019-08-08 15:21

Word2Vec模型配置参数

classgensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5,min_count=5,max_vocab_size
leofionn·2019-07-23 16:52

gensim Load embeddings

gensimpackagefromgensim.models.keyedvectorsimportKeyedVectorstwitter_embedding_path='twitter_embedding.emb'twitter_vocab_path
sonictl·2019-07-21 10:00

从n-gram到Bert聊一聊词向量：Word2Vec

CBOW（多到一）是给定上下文来预测输入单词，训练方法为负采样Skip-Gram（一到多）是给定输入单词来预测上下文，训练方法为哈夫曼树训练步骤：1.将输入的文本生成词汇表，统计词频选择前ｋ个构成词汇表vocab.txt
姬香·2019-07-14 00:03

Torchtext使用教程

词转词向量如何建立相应的迭代器torchtext预处理流程：定义Field：声明如何处理数据定义Dataset：得到数据集，此时数据集里每一个样本是一个经过Field声明的预处理预处理后的wordlist建立vocab
ZJWANGER·2019-06-19 12:04

[NLP学习笔记-Task2] 文本特征提取

/DataSets/ChineseStopWords.txt'VOCAB_SIZE=5000defread_file(file_name):'''读
Aiclin·2019-05-13 13:57

spaCy 第一篇：核心类型

spaCy是一个号称工业级的自然语言处理工具包，最核心的数据结构是Doc和Vocab。
悦光阴·2019-05-10 10:00

spaCy 第一篇：核心类型

spaCy第一篇：核心类型spaCy是一个号称工业级的自然语言处理工具包，最核心的数据结构是Doc和Vocab。
悦光阴·2019-05-10 10:00

transformer解读与pytorch实现

5b9f1af0e51d450e425eb32dimporttorchimporttorch.nnasnnclassTransformer(nn.Module):def__init__(self,src_vocab_size
Mr_wuliboy·2019-04-22 09:43

验证码生成

fromcaptcha.imageimportImageCaptchafromPILimportImageimportnumpyasnpimportrandomimportsysnumber=['0','1','2','3','4','5','6','7','8','9']CAPTCHA_LENGTH=4VOCAB_LENGTH
Minty爱学习·2019-04-15 17:36

研读pytorch版本的BERT分类代码

研读pytorch版本的BERT分类代码1首先加载了tokenizer就是有个vocab.txt文件，里面每行是个token，比如：abcbcd吴家行然后Tokenizer这个类中有几个属性：vocab
吴家行hang·2019-04-15 16:12

Task2

ai.stanford.edu/~amaas/data/sentiment/数据数据集中包含四个文本文件：cnews.test.txt，cnews.train.txt，cnews.val.txt，cnews.vocab.txt
aimicm·2019-04-11 10:15

Pytorch：BertModel使用

--vocab_dir:"str":词库文件地址.--bert_model:"str":存放
无聊的人生事无聊·2019-04-10 19:50

PYTORCH BUG 总结！！！！！！！！！

cudaerror:device-sideasserttriggered1、根据上图中的bug，查找可得，embedding的num_embeddings是要设置成你的字典的大小，但是要记住，一定是vocab_size
昕晴·2019-04-06 22:50

Word2Vec源码解析

一、word2vec训练参数先根据输入的train_file文件创建两个数组，vocab和vocab_hash，vocab是词库数组，一维数组，每一个对象都是vocab_word类型；vocab_hash
TINGJUN·2019-03-31 22:57

BERT的vocabulary字典

PRETRAINED_VOCAB_ARCHIVE_MAP={'bert-base-uncased':"https://s3.amazonaws.com/models.huggingface
街道口扛把子·2019-03-17 09:17

OSError: [E050] Can't find model 'en'. It doesn't seem to be a shortcut link, a Python package or a

aPythonpackageoravalidpathtoadatadirectory.问题描述：Namespace(afn='gelu',analysis=True,attn_pdrop=0.1,b1=0.9,b2=0.999,bpe_path='model/vocab
tomeasure·2019-03-15 20:29

NLP实战 -中文文本分类问题：THUCNews数据集

中文文本分类问题：THUCNews数据集1THUCNews数据集与预处理1.1数据集下载1.2数据量1.3预处理1.3.1read_file()，读取文件数据;1.3.2build_vocab()构建词汇表
紫砂痕·2019-03-03 21:55

Tensorflow+RNN实现新闻文本分类

实现新闻文本分类加载数据集数据集cnew文件夹中有4个文件：1.训练集文件cnews.train.txt2.测试集文件cnew.test.txt3.验证集文件cnews.val.txt4.词汇表文件cnews.vocab.txt
weixin_34291004·2019-03-02 18:00

torchtext学习总结

torchtext学习总结TorchTextAPI一览概述Field对象Dataset迭代器(iterator)具体使用使用Dataset类自定义Dataset类构建数据集构建词表最简单的方法：build_vocab
Leokb24·2019-02-19 14:15

tensor2tensor项目中机器翻译中的bug

在利用transformer模型训练中英互译模型时，自己实现了一个translate的problem，重新实现了generate_encoded_sample,并提供自己预处理后的vocab.en和vocab.zh
hjx5200·2019-01-24 16:41

NLP————VocabularyProcessor进行词表创建和原数据填充

在进行NLP相关编码时，将文本进行序列化编码是一个必要的环节（word->id），之前自己一直是自己手写代码构造词表并给句子进行填充，后来网上看到一个神仙函数两句语句就能完成构造词表vocab和句子填充
coder_Gray·2019-01-14 16:59

NLP————VocabularyProcessor进行词表创建和原数据填充

在进行NLP相关编码时，将文本进行序列化编码是一个必要的环节（word->id），之前自己一直是自己手写代码构造词表并给句子进行填充，后来网上看到一个神仙函数两句语句就能完成构造词表vocab和句子填充
coder_Gray·2019-01-14 16:59

介绍几个比较特别的学英语APK

vocab.com比较有名的英英学习单词网站，还有人转成离线词库。scrabbleexpert玩scrabble用，可以发现很多自己想不到的单词gremonics自带容易记忆的方法记GRE。
DarkxLight·2019-01-05 17:35

WordPiece

def__init__(self,vocab,unk_token="[UNK]",max_input_chars_per_word=100):self.
biubiubiu888·2018-12-22 15:31

使用Bert模型的run_classifier进行Fine-Tuning

废话不多说直接说怎么做首先我们需要下载中文模型文件，直接给出链接下载即可https://pan.baidu.com/s/1-c068UOgfhrMyIIhR5fHXg，提取码是:2z2r，解压完成后会出现五个文件，其中一个词汇表文件vocab.txt
liu_sir_·2018-12-20 13:39

文本分类实战----数据处理篇----embeddings与vocab中词汇不相覆盖问题的处理办法

embeddings与vocab中词汇不相覆盖问题我们使用的预训练好的embeddings词向量来对训练集和测试集中的词汇表vocab进行向量的映射，这里存在的一个问题是预训练embedding
hoohaa_·2018-12-17 18:28

VocabularyProcessor 使用注意事项

Apersononahorsejumpsoverabrokendownairplane.","Apersonisoutdoors,onahorse."]raw2=["Theboydoesaskateboardingtrick."]vocab_processor
candy134834·2018-12-14 14:24

关于tensorflow dataset API(bucket) 的一些学习记录----NMT

在学习nmt源码时对数据处理部分中的bucket有一些疑惑，现以官方示例中的“tst2012.en”作为源数据集以及目标数据集，以“vocab.en”作为对应的词表，做了一些尝试，具体如下：#-*-coding
HuHu & HeHe·2018-11-05 10:44

语言翻译

/data/small_vocab_en'target_path='./data/small_vocab_fr'
Adm1rat1on·2018-10-30 15:49

[torchtext]如何利用torchtext读取json文件并生成batch

如何利用torchtext读取json文件并生成batch设置Field使用torchtext.data.Tabulardataset.splits读取文件构建vocab表使用torchtext.data.Iterator.splits
Geek Fly·2018-10-22 20:58

pytorch从python2迁移到python3时遇到torch.FloatTensor constructor received an invalid combination of argumen

AI_Challenger_2018阅读理解程序基准代码时出现以下错误：raceback(mostrecentcalllast):File"train.py",line39,inmodel=MwAN(vocab_size
DreamNotOver·2018-09-30 11:13

9.2.1 PTB数据的预处理

importcodecsimportcollectionsfromoperatorimportitemgetterimportsysdefgenerate_dic(RAW_DATA,VOCAB_OUTPUT
醉乡梦浮生·2018-08-12 14:54

SRILM使用之ngram-count

-vocabvocab_file读取词典vocab_file。生成语言模型时，如果计数文件中或者训练文件中，如果出现了词典vocab_file之外的词（OOV)，
GavinLiu1990·2018-08-02 17:22

深度学习中文NLP任务实战（二）：使用训练好的词向量

tensorflow使用预训练词向量embedding层我们使用预训练的词向量，最主要的目的就是为了生成embedding层的wW=tf.Variable(tf.constant(0.0,shape=[vocab_size
Ding_xiaofei·2018-07-08 11:51

深度学习中文NLP任务实战（二）：使用训练好的词向量

tensorflow使用预训练词向量embedding层我们使用预训练的词向量，最主要的目的就是为了生成embedding层的wW=tf.Variable(tf.constant(0.0,shape=[vocab_size
Ding_xiaofei·2018-07-08 11:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他