torchtext

pytorch IMDB - avgmodel

Pytorch_new一、问题：情感分析问题：数据大概长啥样：train_data:{'text':['ab','cd','dd',xxx],'label':'pos'}二、思路："""代码逻辑：1）用torchtext
sinat_15355869·2020-07-28 11:50

基于TorchText的PyTorch文本分类

作者|DR.VAIBHAVKUMAR编译|VK来源|AnalyticsInDiamag文本分类是自然语言处理的重要应用之一。在机器学习中有多种方法可以对文本进行分类。但是这些分类技术大多需要大量的预处理和大量的计算资源。在这篇文章中，我们使用PyTorch来进行多类文本分类，因为它有如下优点：PyTorch提供了一种强大的方法来实现复杂的模型体系结构和算法，其预处理量相对较少，计算资源（包括执行时
人工智能遇见磐创·2020-07-27 13:00

基于TorchText的PyTorch文本分类

作者|DR.VAIBHAVKUMAR编译|VK来源|AnalyticsInDiamag文本分类是自然语言处理的重要应用之一。在机器学习中有多种方法可以对文本进行分类。但是这些分类技术大多需要大量的预处理和大量的计算资源。在这篇文章中，我们使用PyTorch来进行多类文本分类，因为它有如下优点：PyTorch提供了一种强大的方法来实现复杂的模型体系结构和算法，其预处理量相对较少，计算资源（包括执行时
人工智能遇见磐创·2020-07-27 12:00

[TorchText]使用

-Field的使用Torchtext采用声明式方法加载数据，需要先声明一个Field对象，这个Field对象指定你想要怎么处理某个数据,eachFieldhasitsownVocabclass。
VanJordan·2020-07-15 18:21

TypeError: object of type 'Example' has no len()

在使用torchtext处理文本，并对iterator进行循环迭代对时候报出错误：“TypeError:objectoftype‘Example’hasnolen()”，调试的时候发现在iterator.py
成电摸鱼郎·2020-07-15 09:32

PyTorch-19 使用 nn.Transformer 和 TorchText 进行序列到序列的建模

要查看图文版教程，请移步：点击这里这是关于如何训练使用nn.Transformermodule的序列到序列模型的教程。PyTorch-1.2版本包括一个基于论文AttentionisAllYouNeed的标准transformer模块。transformer模型在能够处理多个序列到序列问题的同时具有更好的并行性。nn.Transformer模块完全依赖于注意机制(最近实现的另一个模块是nn.Mul
ScorpioDoctor·2020-07-13 23:06

Pytorch学习记录-torchtext和Pytorch的实例（ 使用神经网络训练Seq2Seq代码）

Pytorch学习记录-torchtext和Pytorch的实例10.PyTorchSeq2Seq项目介绍1.使用神经网络训练Seq2Seq1.1简介，对论文中公式的解读1.2数据预处理我们将在PyTorch
我的昵称违规了·2020-07-13 20:43

PyTorch 使用 nn.Transformer 和 TorchText 进行序列到序列的建模

要查看图文版教程，请移步：点击这里这是关于如何训练使用nn.Transformermodule的序列到序列模型的教程。PyTorch-1.2版本包括一个基于论文AttentionisAllYouNeed的标准transformer模块。transformer模型在能够处理多个序列到序列问题的同时具有更好的并行性。nn.Transformer模块完全依赖于注意机制(最近实现的另一个模块是nn.Mul
ScorpioDoctor·2020-07-12 20:50

torchtext.data 的 Field, RawField

今天试图更改open-nmt代码时，在preprocess阶段发现一处代码：fields=inputters.get_fields(opt.data_type,src_nfeats,tgt_nfeats,dynamic_dict=opt.dynamic_dict,src_truncate=opt.src_seq_length_trunc,tgt_truncate=opt.tgt_seq_lengt
codebrid·2020-07-11 03:43

pytorch学习------03

预测一句话的下一个单词)2.代码2.1数据准备2.2定义模型2.3训练模型（附加保存模型）：2.4加载训练好的模型：1.语言模型(预测一句话的下一个单词)学习目标学习语言模型，以及如何训练一个语言模型学习torchtext
codeDRT·2020-07-09 22:46

OverflowError: Python int too large to convert to C报错

最近使用torchtext一直碰到这个问题原始代码为：train,dev,test=data.TabularDataset.splits(path='.
享邑庆啊·2020-07-06 02:23

[翻译Pytorch教程]NLP部分：使用TorchText进行文本分类

本教程展示如何在torchtext中调用文本分类数据集，包括：AG_NEWS,SogouNews,DBpedia,YelpReviewPolarity,YelpReviewFull,YahooAnswers
青萍之默·2020-06-29 19:53

torchtext补充---利用torchtext读取和处理json、csv、tsv

接上篇：torchtext使用–Transformer的IMDB情感分析这次将使用torchtext读取和处理自己的数据集，而不是运用内置的datasets
WhlittLou·2020-06-29 08:34

使用torchtext导入NLP数据集

从torchtext这个名字我们也能大概猜到该库是pytorch圈中用来预处理文本数据集的库，但这方面的教程网络上比较少，今天我就讲讲这个特别有用的文本分析库。
邓旭东HIT·2020-06-28 20:43

pytorch---情感分析

使用工具有torchtext，pytorch。数据集主要是烂番茄电影评论数据集https://www.kaggle.com/c/sentiment-analysis-on-movie-reviews。
weixin_34351321·2020-06-28 17:06

利用pytorch和torchtext预处理数据

pytorch广播矩阵当自定义矩阵来和一个batch的数据X做乘法的时候，设X.shape=[batch_size,dimx,dimy]，那么自定义的矩阵W.shape=[input_dim,output_dim]只需要input_dim==dimy就可以使用torch.matmul(X,W)，pytorch在计算的时候会自动广播矩阵W，但计算完W.shape不会发生变化，也可以使用torch.m
TianHongZXY·2020-06-25 17:19

使用pytorch和torchtext进行文本分类

使用pytorch和torchtext进行文本分类文本分类是NLP领域的较为容易的入门问题，本文记录我自己在做文本分类任务以及复现相关论文时的基本流程，绝大部分操作都使用了torch和torchtext
TianHongZXY·2020-06-25 17:18

LSTM复现（pytorch）用到的知识点总结

构建数据集使用torchtextTEXT=torchtext.data.Field(lower=True)train,val,test=torchtext.datasets.LanguageModelingDataset.splits
kunAUGUST·2020-06-24 01:26

Pytorch学习记录-使用RNN encoder-decoder训练短语表示用于统计机器翻译

Pytorch学习记录-torchtext和Pytorch的实例20.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-06-23 05:40

torchtext不支持对数据进行拆分

train_path='../data/match_data/train.csv'test_path='../data/match_data/dev.csv'all_train_data=pd.read_csv(train_path)train,val=train_test_split(all_train_data,test_size=0.2)train.to_csv("../data/match
勿在浮沙筑高台LS·2020-06-20 23:46

Pytorch学习记录-使用共同学习完成NMT的构建和翻译

Pytorch学习记录-torchtext和Pytorch的实例30.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-04-11 07:21

Pytorch学习记录-Transformer（数据预处理和模型结构）

Pytorch学习记录-torchtext和Pytorch的实例60.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-04-05 10:22

Pytorch学习记录-Seq2Seq打包填充序列、掩码和推理

Pytorch学习记录-torchtext和Pytorch的实例40.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-03-21 17:25

Pytorch学习记录-使用共同学习完成NMT的构建和翻译

Pytorch学习记录-torchtext和Pytorch的实例30.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-03-20 15:29

PyTorch-17 使用TorchText进行文本分类

要查看图文并茂版教程，请移步：http://studyai.com/pytorch-1.4/beginner/text_sentiment_ngrams_tutorial.html本教程演示如何在torchtext
人工智能学社·2020-03-12 06:39

PyTorch-19 使用 nn.Transformer 和 TorchText 进行序列到序列的建模

要查看图文版教程，请移步：点击这里这是关于如何训练使用nn.Transformermodule的序列到序列模型的教程。PyTorch-1.2版本包括一个基于论文AttentionisAllYouNeed的标准transformer模块。transformer模型在能够处理多个序列到序列问题的同时具有更好的并行性。nn.Transformer模块完全依赖于注意机制(最近实现的另一个模块是nn.Mul
人工智能学社·2020-03-12 06:24

Torchtext使用教程

Torchtext使用教程主要内容：如何使用torchtext建立语料库如何使用torchtext将词转下标，下标转词，词转词向量如何建立相应的迭代器torchtext预处理流程：定义Field：声明如何处理数据定义
直接往二·2020-02-18 09:45

fast.ai 填坑指南

0.3.1-cpytorch然后安装0.7版本的fastaipipinstallfastai==0.7.0-ihttps://pypi.tuna.tsinghua.edu.cn/simple/注意要将torchtext
Mental_Flow·2020-02-12 21:46

Pytorch学习记录-torchtext和Pytorch的实例（ 使用神经网络训练Seq2Seq）

Pytorch学习记录-torchtext和Pytorch的实例10.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-02-10 17:02

Pytorch学习记录-Seq2Seq模型对比

Pytorch学习记录-torchtext和Pytorch的实例对比0.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-02-10 03:42

使用 torchtext + embedding 文件准备训练数据

一、原材料：1、预训练好的embedding文件，这里使用的embedding文件是glove.6B.300d.txt，该文件可以从网上下载。2、语料，也就是将要被数字化的文本，这里使用的是train.tsv、dev.tsv和test.tsv三个文件，train.tsv和dev.tsv这两个文件的数据格式如下：sentencelabelhidenewsecretionsfromtheparenta
蓝天白云bubble·2020-02-06 12:56

Pytorch学习记录-torchtext和Pytorch的实例对比（Transformer）

Pytorch学习记录-torchtext和Pytorch的实例对比0.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2020-02-05 07:17

使用pytorch和torchtext进行文本分类的实例

文本分类是NLP领域的较为容易的入门问题，本文记录我自己在做文本分类任务以及复现相关论文时的基本流程，绝大部分操作都使用了torch和torchtext两个库。
TianHongZXY·2020-01-08 09:39

NLP数据处理工具——torchtext

文章目录概述安装文档主要的Package实践FieldAPICodeDemoExampleAPIDatasetAPICodeDemoVocabAPICodeDemoVectorsAPICodeDemo使用pytorch加载预训练词向量Iterator说明APICodeDemo结语概述在处理NLP任务时除了需要优秀的神经网络还需要方便、高效的数据预处理工具。今天介绍一款优秀的NLP数据处理工具tor
dendi_hust·2019-09-23 19:45

TorchText文本数据集读取操作

1.介绍本文主要介绍如何使用TorchText处理文本数据集。Torchtext是一种为pytorch提供文本数据处理能力的库，类似于图像处理库Torchvision。
魏鹏飞·2019-07-23 18:49

Pytorch学习记录-torchtext和Pytorch的实例（ 使用神经网络训练Seq2Seq代码）

Pytorch学习记录-torchtext和Pytorch的实例10.PyTorchSeq2Seq项目介绍1.使用神经网络训练Seq2Seq1.1简介，对论文中公式的解读1.2数据预处理我们将在PyTorch
kyle1314608·2019-06-26 15:00

Torchtext使用教程

Torchtext使用教程主要内容：如何使用torchtext建立语料库如何使用torchtext将词转下标，下标转词，词转词向量如何建立相应的迭代器torchtext预处理流程：定义Field：声明如何处理数据定义
ZJWANGER·2019-06-19 12:04

Pytorch实现FastText模型对AG_news数据集进行四分类预测（torchtext实现数据预处理）

文章目录1FastText模型简介1.1模型简介1.2HierarchicalSoftmax简介2AG_news数据集3TorchText简介3.1自己实现数据预处理的步骤3.2使用TorchText对数据预处理
红雨瓢泼·2019-06-03 22:20

安装spacy以及在torchtext中使用它

github.com/explosion/spaCy安装：pipinstall spaCy-master.zip下载模型：python-mspacydownloaden_core_web_sm注意，在torchtext
芮芮杰·2019-05-16 18:45

安装torchtext

Introduction本文主要介绍如何使用Torchtext读取文本数据集。Torchtext是非官方的、一种为pytorch提供文本数据处理能力的库，类似于图像处理库Torchvision。
芮芮杰·2019-05-16 13:02

（十）文本embedding的相关操作

fromgensim.scripts.glove2word2vecimportglove2word2vecglove2word2vec('glove.840B.300d.txt','test.txt')#参数（glove文件路径,目标文件路径）2.torchtext
看我七十三变·2019-05-05 10:04

TorchText用法示例及完整代码

TorchText最近开始使用PyTorch进行NLP神经网络模型的搭建，发现了torchtext这一文本处理神器，可以方便的对文本进行预处理，例如截断补长、构建词表等。
nlpuser·2019-03-01 20:27

class Field(RawField): File "/storage/st2/anaconda33/envs/python2/lib/python2.7/site-packages/t

classField(RawField):File"/storage/st2/anaconda33/envs/python2/lib/python2.7/site-packages/torchtext/
gorgeous___youth·2019-02-19 16:35

torchtext学习总结

torchtext学习总结TorchTextAPI一览概述Field对象Dataset迭代器(iterator)具体使用使用Dataset类自定义Dataset类构建数据集构建词表最简单的方法：build_vocab
Leokb24·2019-02-19 14:15

PyTorch在NLP任务中使用预训练词向量

下面分别介绍使用gensim和torchtext两种加载预训练词向量的方法。
nlpuser·2018-11-01 21:05

[torchtext]如何利用torchtext读取json文件并生成batch

如何利用torchtext读取json文件并生成batch设置Field使用torchtext.data.Tabulardataset.splits读取文件构建vocab表使用torchtext.data.Iterator.splits
Geek Fly·2018-10-22 20:58

pytorch学习笔记（十九）：torchtext

文章部分翻译自http://anie.me/On-Torchtext/API一览torchtext.datatorchtext.data.Example:用来表示一个样本，数据+标签torchtext.vocab.Vocab
ke1th·2018-02-11 13:04

pip在anaconda环境下指定安装路径的安装问题

错误起因：pip安装torchtext==0.1.1完成后，发现安装路径为.local/lib/python3.6/site-packages，但是我的程序需要使用python2.7。
codebrid·2018-01-04 15:08
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他