seq2seq

Attention注意力机制

Seq2Seq在开始Attention之前，我们先简单回顾一下Seq2Seq模型，传统的机器翻译基本都是基于Seq2Seq模型来做的，该模型分为encoder层与decoder层，并均为RNN或RNN的变体构成
CharlesOyfz·2019-06-25 23:54

从One-hot, Word embedding到Transformer，一步步教你理解Bert

作者|财神Childe转载自CSDN博客文章目录NLPWordEmbeddingRNN/LSTM/GRUseq2seqContextualWordEmbeddingtransformer:bertNLPNLP
AI科技大本营·2019-06-25 18:54

pytorch笔记：09)Attention机制

刚走一步竟掉到了另一个hole（fireinthehole*▽*）1.RNN中的attentionpytorch官方教程：https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html
kyle1314608·2019-06-22 10:00

NLP学习记录4——n-gram模型（待整理）

NLP学习记录4——n-gram模型主要参考博客自然语言处理之seq2seq模型原始论文learningphaserepresentationsusingRNNEncoder-decoderforstatisticalmachinetranslationSequencetosequencelearningwithneuralnetworks
青崖间·2019-06-18 11:29

NLP学习记录5——seq2seq模型

NLP学习记录5——seq2seq模型主要参考博客Seq2Seq模型简介自然语言处理之seq2seq模型深度学习的seq2seq模型真正的完全图解Seq2SeqAttention模型【论文笔记】SequencetoSequenceLearningwithNeuralNetworks
青崖间·2019-06-18 11:48

基于检索模型和生成模型聊天机器人

目前有两种典型的方法：一是基于检索的模型，二是基于Seq2Seq的生成式模型。检索回复答案可控但无法处理长尾问题，Seq2Seq则难以保证一致性和合理性。
潇萧之炎·2019-06-15 15:54

一步步理解bert

文章目录NLPWordEmbeddingRNN/LSTM/GRUseq2seqContextualWordEmbeddingtransformer:bertNLPNLP：自然语言处理（NLP）是信息时代最重要的技术之一
财神Childe·2019-06-15 09:17

Attention？Attention！

原文链接：https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html#whats-wrong-with-seq2seq-model
Forlogen·2019-06-14 15:13

Beam Search集束搜索

在Seq2Seq解码部分中,常用到BeamSearch。
CharlesOyfz·2019-06-14 02:48

Seq2Seq模型

(长度6)Seq2Seq就是处理这种输入和输出不固定长度问题的模型,全称SequencetoSequence模型，应用于机器翻译，语音识别，自动对话等应用。模
CharlesOyfz·2019-06-13 16:28

seq2seq以及attention模型的pytorch实现(以机器翻译为例)

本文对应官网地址:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html系列教程总目录传送门：我是一个传送门本系列教程
芮芮杰·2019-06-12 23:50

对话生成：seq2seq模型原理及优化

对话生成模型一、寿险的人机对话业务介绍二、Seq2Seq对话模型原理三、基于主题规划和文本属性控制的Seq2Seq模型优化四、Seq2Seq模型在寿险业务的实践介绍五、视频及资料获取更多干货内容请敬请关注
最AI的小PAI·2019-06-12 15:39

基于PyTorch的Seq2Seq翻译模型详细注释介绍（一）

Seq2Seq是目前主流的深度学习翻译模型，在自然语言翻译，甚至跨模态知识映射方面都有不错的效果。
蛐蛐蛐·2019-06-08 08:17

keras之seq2seq简单演示

资料来自这里我比较懒，这里只画个重点，seq2seq的原理，包含2步，第一步学习获取输入序列的内部状态，第二步以第一步的状态向量为初始状态，对给定序列产生一个时间偏移1步的序列。
miss_fang999·2019-06-06 15:27

[NLP学习笔记-Task10] Transformer + BERT

Encoder-Decoder框架Encoder-Decoder是为seq2seq（序列到序列）量身打造的一个深度学习框架，在机器翻译、机器问答等领域有着广泛的应用。
Aiclin·2019-05-30 16:58

传统的seq2seq模型与seq2seq with attention的模型原理细节解析

seq2seq（序列对序列），是一种深度学习模型，在机器翻译、文本摘要和图像字幕等方面取得了很大的成功。
hufei_neo·2019-05-29 14:03

一文详解transformer（Attention Is All You Need）原理

以及openaigpt-2,但是在理解这些模型之前，我觉得首先应该了解transformer，因本人水平有限，在看了transformer的论文之后也一知半解，在分享今天的知识之前，我们先简单了解一下seq2seq
hufei_neo·2019-05-27 16:48

神经网络机器翻译实现---Seq2Seq+注意力机制

1、NMT（NeuralMachineTranslation）简介NMT框架可以简单地表示为如下图：输入句子经过编码得到上下文向量context，context再经过译码得到输出句子可具体表示为论文SequencetoSequenceLearningwithNeuralNetworks称这个框架为序列到序列（sequence-to-sequence）thecontextvector为，，，输出2、
CopperDong·2019-05-15 17:43

Seq2Seq模型学习（pytorch）

seq2seq的单词编码的方式可以参见seq2seq翻译教程，这篇文章采用了对单词建立索引，每个单词用一个index表示的方法。正常情况的句子矩阵是（句子长度，句子数量）的矩阵。为了批量训练
w6280190·2019-05-10 18:28

Transformer文本生成与tensorflow实现

1.引言    前面介绍了文本生成任务中的经典模型——Seq2Seq，以及一些常见的attention机制，虽然在文本生成任务中取得了相当出色的成绩，但是随着数据量的增大和语料长度的增大，RNN固有的序贯性严重阻碍了训练的速度
林楚海·2019-05-10 11:32

看了这篇你还不懂BERT，那你就过来打死我吧

基于共现矩阵的词向量...11.2基于语言模型的词向量...22.RNN/LSTM/GRU..52.1RNN..52.2LSTM通过门的机制来避免梯度消失...62.3GRU把遗忘门和输入门合并成一个更新门...63.seq2seq
Jamie_Wu·2019-05-09 10:03

BERT解析及文本分类应用

目录前言BERT模型概览Seq2SeqAttentionTransformerencoder部分Decoder部分BERTEmbedding预训练文本分类试验参考文献前言在18年末时，NLP各大公众号、
xlturing·2019-05-07 11:00

如何提高文本生成任务中的文本多样性

1.引言    在文本生成任务中，经典模型Seq2Seq虽然取得了很大的进步，但是由于其目标函数采用的是极大似然估计，即：1/∣S∣∑(T,S)∈Slog⁡p(T∣S)1/|\mathcal{S}|\sum
林楚海·2019-05-05 17:35

论文《Neural Machine Translation by Jointly Learning to Align Translate》

翻译任务是典型的seq2seq问题。那么，什么是seq2seq问题？简单的说就是，根据输入序列X，生成一个输出序列Y，序列的长度不固定。
smile_zmj·2019-04-25 00:34

【自然语言处理】文本分类模型_Transformer_TensorFlow实现

一、原始Transformer模型1.Paper：AttentionIsAllYouNeed2.该模型是一个Seq2Seq的模型，其包含一个encoder和一个decoder，其结构如下图：上图中encoder
BQW_·2019-04-24 19:16

Seq2Seq Attention模型

seq2seq是一个Encoder–Decoder结构的网络，它的输入是一个序列，输出也是一个序列，Encoder中将一个可变长度的信号序列变为固定长度的向量表达，Decoder将这个固定长度的向量变成可变长度的目标的信号序列
alibabazhouyu·2019-04-23 09:24

transformer 翻译模型

google出品,基于encoder-decoder架构的seq2seq自然语言翻译模型.paper见参考[1].创新之处是弃用RNN,CNN这样的结构,采用self-attention与positional-encoding
yichudu·2019-04-21 23:36

带注意力机制的Seq2Seq翻译模型

1.注意力机制原理上一篇博文介绍了如何使用Tensorflow来搭建一个简单的NMT模型，但那只是一个初级的模型。下面我们通过加入注意力机制（attentionmechanism）来使得其变得更加高级一点。关于什么时注意力机制呢，笔者就按照谷歌NMT开源文档中的说明来简单介绍一下。首先，最初注意力是由Bahdanau等人在2015年提出的，紧接着Luong等人又对其进行了改进，然后就出现了很多的版
空字符（公众号：月来客栈）·2019-04-18 09:56

使用Tensorflow搭建一个简单的Seq2Seq翻译模型

1.背景首先，这篇博文整理自谷歌开源的神经机器翻译项目NeuralMachineTranslation(seq2seq)Tutorial。
空字符（公众号：月来客栈）·2019-04-16 14:13

Attention系列一之seq2seq传统Attention小结

正如标题所言，本文总结了一下传统的Attention，以及介绍了在seq2seq模型中使用attention方法的不同方式。
Kingslayer_·2019-04-15 15:26

【笔记3-7】CS224N课程笔记 - 神经网络机器翻译seq2seq注意力机制

CS224N（七）NeuralMachineTranslation,Seq2seqandAttentionseq2seq神经网络机器翻译历史方法seq2seq基础seq2seq-编码部分seq2seq-
jessie_weiqing·2019-04-11 15:14

Seq2Seq Attention模型

首先强调一下图文来源，真正的完全图解Seq2SeqAttention模型。本人目前用到此模型，发现该知乎作者的文章写得通俗易懂，于是整理作为自己的笔记。
destiny_block·2019-04-09 20:54

推荐系统遇上深度学习(三十七)--基于多任务学习的可解释性推荐系统

id=3240365本文提出了一种通过结合概率矩阵分解PMF和对抗式Seq2Seq模型的多任务学习框架，可以通过矩阵分解模型得到用户对物品的评分，通过Seq2Seq模型可以生成用户对于物品的评
文文学霸·2019-04-06 23:00

RNN入门简例：mnist 分类

seq2seq那种吧RNN层只有1个hiddenunit，只是它有自环，逻辑上可以展开成任意多个（这任意多个hiddenunit共享参数，即只有一个）keras的SimpleRNN的第一个参数units
HackerTom·2019-04-06 10:09

论文阅读笔记《Get To The Point: Summarization with Pointer-Generator Networks》

文章目录摘要一介绍二模型2.1序列->序列架构加上注意力机制模型(seq2seq+attentionmodel)2.2指针生成器网络(pointer-generatornetwork)2.3覆盖机制(coveragemechanism
0x落尘·2019-04-05 23:53

论文：Get To The Point Summarization with Pointer-Generator Networks解读

注：如上面所示，作为基线的seq2seq+Attention这样的纯粹的生成式模型存在1.无法生成OOV词汇；2.歪曲事实两个问题。PointerGenerator存在重复内容的问题。在引入C
盐味橙汁·2019-04-04 16:07

自然语言处理（五）——实现机器翻译Seq2Seq完整经过

参考书《TensorFlow：实战Google深度学习框架》（第2版）我只能说这本书太烂了，看完这本书中关于自然语言处理的内容，代码全部敲了一遍，感觉学的很绝望，代码也运行不了。具体原因，我也写过一篇博客diss过这本书。可是既然学了，就要好好学呀。为了搞懂自然语言处理，我毅然决然的学习了网上的各位小伙伴的博客。这里是我学习的简要过程，和代码，以及运行结果。大家共勉。参考链接：https://bl
李英俊小朋友·2019-04-03 10:49

paper阅读 Incorporating Copying Mechanism in Sequence-to-Sequence Learning

将拷贝模式融入到了Seq2Seq模型中，将传统的生成模式和拷贝模式混合起来构建了新的模型，非常好地解决了OOV问题。解决问题的思路与之前的一
大丸子是superman·2019-04-02 09:02

paper阅读 Incorporating Copying Mechanism in Sequence-to-Sequence Learning

将拷贝模式融入到了Seq2Seq模型中，将传统的生成模式和拷贝模式混合起来构建了新的模型，非常好地解决了OOV问题。解决问题的思路与之前的一
大丸子是superman·2019-04-02 09:02

NLP入门（三）：seq2seq之GRU对齐文本和机器翻译

首先来回顾之前用到的两种seq2seq模型（sequencetosequence）（1）和（2）编码器结构完全相同，只不过（1）使用的是单向LSTM，（2）使用的是单向的GRU，二者的重要区别在于decoder
WYXHAHAHA123·2019-03-31 13:31

Keras蚂蚁金服大赛实战——自然语言处理技术（4）

之前在自然语言处理技术系列的第一篇NER实战的结语中介绍过：序列标注（分词，NER），文本分类（情感分析），句子关系判断（语意相似判断），句子生成（机器翻译）是NLP领域的四大任务，之后我又陆续简单介绍了情感分析实战,和Seq2Seq
王同学死磕技术·2019-03-31 10:01

PyTorch: SEQ2SEQ

原始论文：Chatbox本教程将介绍如何是seq2seq模型转换为PyTorch可用的前端混合Torch脚本。
gdtop818·2019-03-30 10:34

NLP入门（二）：seq2seq之GRU实现机器翻译

https://github.com/bentrevett/pytorch-seq2seq/blob/master/2%20-%20Learning%20Phrase%20Representations
WYXHAHAHA123·2019-03-29 21:36

聊天机器人：神经对话模型的实现与技巧

Sequence-to-Sequence模型模型流程input_text=>encoder=>decoder=>target_textSeq2Seq模型流程伪代码（python）训练时：#这两条是训练数据
adam-liu·2019-03-29 13:04

《The Evolved Transformer》论文笔记

GoogleBrain-TheEvolvedTransformer论文创新点：使用神经架构搜索的方法，为seq2seq任务找到了一种比Transformer更好的前馈网络架构。
盐味橙汁·2019-03-28 18:52

Seq2Seq+Attention+Pytorch实现Translation

Fromhttps://github.com/spro/practical-pytorch/blob/master/seq2seq-translation/seq2seq-translation.ipynb
YuHsin·2019-03-26 11:40

Seq2Seq -- Attention -- Transformer

Seq2Seq–Attention–Transformer文章目录Seq2Seq--Attention--Transformer1.前言2.Seq2Seq模型3.Attention模型3.1简介3.2模型架构
zhierzyc·2019-03-23 23:11

Construct a Seq2Seq Model with Attention Mechanism

ConstructaSeq2SeqModelwithAttentionMechanism1.创建一个seq2seq类classSeq2seq(object):def__init__(self,config
Lau_Sen·2019-03-23 22:56

Transformer与BERT详解

Transformer自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型，具体原理可以参考传送门的文章
c_木ss·2019-03-23 01:45

【Pytorch-NLP实战系列】：Seq2Seq训练输出反义词（不到百行代码）

总述：用RNN编码解码机制训练一个输出反义词的模型，目的在于熟悉pytorch的使用,代码中有新手不太懂的函数都引用了博客，请放心食用。千言万语皆在代码中：#coding=utf-8importnumpyasnpimporttorchimporttorch.nnasnnfromtorch.autogradimportVariablechar_arr=[cforcin'SEPabcdefghijkl
lwgkzl·2019-03-22 11:58
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他