Seq2seq

一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq

Encoder-Decoder和Seq2SeqEncoder-Decoder是NLP领域里的一种模型框架。它被广泛用于机器翻译、语音识别等任务。
人工智能知识库·2019-10-30 05:09

详解seq2seq模型中的attention机制，并利用LuongAttention搭建中英机器翻译!

在seq2seq模型中，一整个句子当作输入会给网络带来困扰，并且很有可能丢失序列中靠前的信息。而在decoder模型的输入时，我们同样利用context替换原本的输入。
shange19·2019-10-25 22:14

16Seq2Seq实战语言翻译-attention(3)

image.png数据预处理部分和上一篇一样，就不啰嗦了。重点看一下模型构造：1.Attention层：核心在于对encoder端隐层权重进行计算比如我们准备生成“machine”这个词：s_prev是"love"输出的隐层状态s_prev与Bi-LSTM隐层状态蓝色框a一起concat后，通过激活函数softmax输出权重红色框α（此时看到α3“机器”的attention线最粗）再和Bi-LST
弟弟们的哥哥·2019-10-22 17:04

15Seq2Seq实战语言翻译(2)

1.加载数据#Englishsourcedatawithopen("data/small_vocab_en","r",encoding="utf-8")asf:source_text=f.read()#Frenchtargetdatawithopen("data/small_vocab_fr","r",encoding="utf-8")asf:target_text=f.read()2.查看数据#
弟弟们的哥哥·2019-10-22 17:57

14Seq2Seq原理(1)

先看看seq2seq原理：encoder通过学习将输入embedding后传入rnn网络形成一个固定大小的状态向量S，并将S传给Decoder,Decoder一样通过学习embedding后传入RNN网络
弟弟们的哥哥·2019-10-22 17:49

Attention机制全解

目录前言Seq2SeqAttention机制的引入HardorSoftGlobalorLocal注意力的计算Self-Attention小结前言之前已经提到过好几次Attention的应用，但还未对Attention
西多士NLP·2019-10-22 16:00

深度之眼Paper带读笔记NLP.16：卷积seq2seq

文章目录前言第一课论文导读序列到序列模型加入注意力的序列到序列Seq2Seq发展历史Seq2Seq类型RNNnVS11VSnnVSm卷积神经网络前期知识储备第二课论文精读动机模型卷积结构卷积的padding
oldmao_2001·2019-10-21 20:58

分析一套源代码的代码规范和风格并讨论如何改进优化代码

所以我在github上找到了一套名为seq2seq-chinese-textsum的源码。1.结合工程实践选题相关的一套源代码，根
yingjiehuang·2019-10-10 12:00

Transformer

问题求解：Transformer整体架构Transformer是典型的Seq2Seq架构的模型，其核心的骨架依然是encoder-decoder两个模块，和传统的S2S问题不同的地方在于Transformer
hyserendipity·2019-10-09 19:00

60分钟教你实现Chatbot（基于pytorch）

本教程会介绍使用seq2seq模型实现一个chatbot，训练数据来自Cornell电影对话语料库。对话系统是目前的研究热点，它在客服、可穿戴设备和智能家居等场景有广泛应用。
忧郁得茄子·2019-10-06 18:47

Attention机制的解释

TheIllustratedAttentionAttentionSeq2Seq是一种由Encoder和Decoder组成的结构，可以将输入转化成一种中间形态并在Decoder输出；而Attention则是解决方案
BillDingDJ·2019-10-04 22:00

pytorch 机器翻译 seq2seq 模型和注意力机制

序列到序列（seq2seq）的模型图示：在很多任务场景中，我们需要处理变长序列，并输出另一个变长序列，如：机器翻译、文本摘要、语音识别等。
颹蕭蕭·2019-10-01 22:33

聊天机器人

http://dopro.io/nlp_seq2seq.html为什么要分桶https://blog.csdn.net/liuchonge/article/details/78929474https:/
美环花子若野·2019-09-30 11:00

Gated RNN & Sequence Generation

文章目录•RNNwithGatedMechanism门控制机制的RNNLSTMGRU•SequenceGeneration•ConditionalSequenceGeneration(Seq2Seq)ConditionalGenerationDynamicConditionalGeneration
assassintt·2019-09-30 10:43

transformer模型分析

学习一个模型，我觉得最重要的是首先要明白模型要做什么，以及它为什么这样做，对transformer来说，它本质上还是一个encoder-decoder（seq2seq）模型，在之前提到
JessssseYule·2019-09-28 19:06

万字长文带你解读NLP深度学习的各类模型

www.yuque.com/weis/ai/wqiw8u万字长文带你解读NLP深度学习的各类模型1背景2模型NNLMWord2vecFastTextTextCNNDCNNGCNNVDCNNRNNLSTMBi-LSTMSeq2SeqATSeq2SeqATAE-LSTMABCNNTransformerGPTBERTXLM3
Taosolo·2019-09-25 14:55

NLP常见项目领域（算法思路）

一、QA问答系统DeepLearning：①seq2seq+attention②transformer、bert二、语义分析、语义匹配1、基于规则模板：①booststriping2、依存句法分析、语义角色标注
鲨鱼儿·2019-09-17 20:16

transformer、bert网络

序言1、bert、transformer比较传统的rnn1、传统缺点：seq2seq使用循环网络固有的顺序特性阻碍样本训练的并行化，这在更长的序列长度上变得至关重要，因为有限的内存限制样本的批次大小；传统的
鲨鱼儿·2019-09-17 11:59

意图识别（规则模板解析、深度学习意图识别）

一、意图识别应用领域1、搜索引擎2、对话系统：基于意图识别了解用户想要什么业务或者闲聊，并采用不用的子模型来处理1.1闲聊技术：闲聊机器人需要有较高的召回率，因此常常用：seq2seq+attention
鲨鱼儿·2019-09-12 12:54

PyTorch专栏（六）: 混合前端的seq2seq模型部署

欢迎关注磐创博客资源汇总站：http://docs.panchuang.net/欢迎关注PyTorch官方中文教程站：http://pytorch.panchuang.net/专栏目录：第一章：PyTorch之简介与下载PyTorch简介PyTorch环境搭建第二章：PyTorch之60分钟入门PyTorch入门PyTorch自动微分PyTorch神经网络PyTorch图像分类器PyTorch数据
磐创 AI·2019-09-11 22:55

Bert---理解基础

Bert理解的基础（1）WordEmbedding（2）RNN（3）Seq2Seq（4）TransformerWordEmbedding脉络w2v：词映射到低维稠密空间，使得语义上相似的两个词在语义空间的距离也会比较近
还有下文·2019-09-10 23:35

从One-Hot到Bert，综述wordEmbedding技术的前世今生

word2vecGloveRNN（LSTM/GRU）seq2seqAttention机制如何解决单向信息流问题?Self-AttentionMultiHe
一心想做工程师·2019-09-10 15:58

Generate summaries in an unsupervised manner

UnsupervisedNeuralMulti_documentAbstractiveSummarizationofReviews》githubopenview对于文本摘要领域来说，已有的抽象式摘要方法（abstractivesummarization）广泛的依赖于Seq2Seq
Forlogen·2019-09-07 21:19

GAN在seq2seq中的应用 Application to Sequence Generation

ImprovingSupervisedSeq-to-seqModel有监督的seq2seq，比如机器翻译、聊天机器人、语音辨识之类的。
王朝君BITer·2019-09-03 16:00

【机器学习】从RNN到Attention 下篇 Transformer与Self-Attention

在上一篇【机器学习】从RNN到Attention中篇从Seq2Seq到AttentioninSeq2Seq中我们介绍了基于RNN结构的Attention机制，Attention机制通过encoder和注意力权重可以观察到全局信息
努力学挖掘机的李某某·2019-09-01 12:35

Attention机制的精要总结，附：中英文机器翻译的实现！

1.什么是Attention机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。
mantch·2019-08-31 18:00

智能客服系列2 python基于Keras实现翻译系统/聊天机器人——Seq2Seq模型+attention（代码篇1-LSTM模型实现）

导读部分对话系统最核心的部分是什么，seq2seq,现在tensorflow已经提供seq2seq封装的调用方法，相对方便，但是理解seq2seq内部原理，自己动手写的话是对模型设计思路的梳理，加深对原设计的理解
AI深度学习算法实战代码解读·2019-08-30 23:35

seq2seq通俗理解----编码器和解码器(TensorFlow实现)

1.什么是seq2seq在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。
mantch·2019-08-30 11:00

Transformer -- 笔记

Transformer就是用到了大量Self-attentionlayer的Seq2seqmodel下面来看看Self-attentionlayer都
小孟Tec·2019-08-21 15:22

AI智能客服系列1-python基于Keras实现翻译系统/聊天机器人Seq2Seq模型+attention（理论篇-图文详解）智能对话系统专辑《一》

此篇是：【智能客服对话系统专辑：《一、理论篇-核心技术模型原理图文分解》】下面我们先来看下聊天机器人的神仙组合模型Seq2Seq+attention起源：Seq2Seq于2013年、2014年被多位学者共同提出
AI深度学习算法实战代码解读·2019-08-20 23:43

利用TensorFlow实现经典NLP算法以及BERT和XLNet现代深度学习架构

专知推荐在KDD2019上的一个TF2.0+NLP教程，本教程是Google资深开发人员讲授，提供了最新基于TensorFlow2.0的NLP实操介绍，重点介绍Embeddings，seq2seq，attention
Mr.Jk.Zhang·2019-08-20 22:38

tensorflow踩坑记之seq2seq

每次debug，都会发出灵魂拷问，“为什么我和别人的代码写的一模一样，但我的就是不对呢？”，每当此时，我的脑海中就会循环播放ykr童鞋的一句话“你以为一样，其实就是不一样，也许是输入格式就错了，也许是API换版本了，也许……”，是的，没错，这次就是输入和人家不一样，还自以为一模一样。问题描述：采用encoder-decoder框架实现基于关键词的文本生成，在训练阶段，decoder借助了三板斧“T
gbl5555·2019-08-20 21:45

Pytorch学习记录-基于多层CNNSeq2Seq的GEC

Pytorch学习记录-GEC语法纠错07五月第一周要结束了，接下来的三个月主要是文献阅读，准备8、9月的开题报告，技术类的文献集中在GEC和Textmaching的应用方面，读完之后找demo复现，然后应用。理论方面的论文也都是英文的6.AMultilayerConvolutionalEncoder-DecoderNeuralNetworkforGrammaticalErrorCorrectio
我的昵称违规了·2019-08-15 11:54

十分钟掌握RNN与LSTM原理及其结构应用

本文内容概要：RNN原理RNN的各种结构以及应用RNN的Seq2Seq结构加入attention机制的Seq2Seq结构LSTM原理RNN循环神经网络原理简单BP神经网络结构简单RNN结构首先我们来对比简单的
cpongo333·2019-08-14 20:49

十分钟掌握RNN与LSTM原理及其结构应用

本文内容概要：RNN原理RNN的各种结构以及应用RNN的Seq2Seq结构加入attention机制的Seq2Seq结构LSTM原理RNN循环神经网络原理简单BP神经网络结构简单RNN结构首先我们来对比简单的
Chile_Wang·2019-08-14 20:49

十分钟掌握RNN与LSTM原理及其结构应用

本文内容概要：RNN原理RNN的各种结构以及应用RNN的Seq2Seq结构加入attention机制的Seq2Seq结构LSTM原理RNN循环神经网络原理简单BP神经网络结构简单RNN结构首先我们来对比简单的
Chile_Wang·2019-08-14 20:49

Seq2Seq序列问题评估指标总结: Edmundson、Rouge、BLEU

Seq2Seq序列问题评估指标总结:Edmundson、Rouge、BLEU序列到序列建模是解决NLP中较难任务的核心，它包括：1、自动文摘（TextSummarization）；2、文本简化（Textsimplification
whxf_·2019-08-11 11:03

Seq2Seq——Attention模型原理解析

Seq2Seq，即通过Encoder将输入语句进行编码得到固定长度的ContextVector向量，（这个编码过程实际上是一个信息有损压缩的过程，也就是说编码器里所有的信息都要压缩在一个ContextVector
qq_23262411·2019-08-08 20:38

Tranformer模型学习

原文链接：http://www.cnblogs.com/rise0111/p/11320683.htmlWordEmbeddingWord2VecGloveRNN改进与拓展Seq2SeqLSTM/GRUattention
baihuang2797·2019-08-08 13:00

使用 Seq2Seq 实现中英文翻译

1.介绍1.1DeepNLP自然语言处理（NaturalLanguageProcessing，NLP）是计算机科学、人工智能和语言学领域交叉的分支学科，主要让计算机处理或理解自然语言，如机器翻译，问答系统等。但是因其在表示、学习、使用语言的复杂性，通常认为NLP是困难的。近几年，随着深度学习（DeepLearning,DL）兴起，人们不断尝试将DL应用在NLP上，被称为DeepNLP，并取得了很多
MomodelAI·2019-08-03 23:25

使用 Seq2Seq 实现中英文翻译

1.介绍1.1DeepNLP自然语言处理（NaturalLanguageProcessing，NLP）是计算机科学、人工智能和语言学领域交叉的分支学科，主要让计算机处理或理解自然语言，如机器翻译，问答系统等。但是因其在表示、学习、使用语言的复杂性，通常认为NLP是困难的。近几年，随着深度学习（DeepLearning,DL）兴起，人们不断尝试将DL应用在NLP上，被称为DeepNLP，并取得了很多
Momodel·2019-08-03 00:00

PyTorch中文教程 | (11) 聊天机器人教程

Github地址在本教程中，我们探索一个好玩和有趣的循环序列到序列(Seq2Seq)的模型用例。我们将用CornellMovie-DialogsCorpus处的电影剧本来训练一个简单的聊天机器人。
CoreJT·2019-07-29 14:55

【备忘】PyTorch的入门与实战

简介.mp4│02.第二课词向量简介.mp4│03.第三课语言模型.mp4│04.第四课自然语言分类任务.mp4│05.第五课简单图片分类.mp4│06.第六课图片风格迁移和GAN.mp4│07.第七课Seq2Seq
hong2511·2019-07-15 10:08

获取BERT embedding表征的方法

output_layer=model.get_pooled_output()defget_pooled_output(self):returnself.pooled_output2.获取词级别的embedding用来做seq2seq
咿咿呀呀呀·2019-07-12 10:42

重磅！！！一文总结Pytorch的8张思维导图！

【磐创AI导读】本文以思维导图的形式，为大家介绍了深度学习的核心内容，主要包括：深度学习与Pytorch简介、词向量、用pytorch处理常见的NLP和CV任务、图片风格迁移和GAN、Seq2Seq与Attention
磐创 AI·2019-07-11 22:07

Transformer：论文《Attention is all you need》+李宏毅课程

TransformerSeq2seqmodelwithSelf-attention在RNN中虽然用到了输入序列的全部信息，但是很难实现输入序列词的同时训练，在self-attentionlayer中，目标序列
Xiao_yanling·2019-07-02 18:09

NMT实战理解Attention、Seq2Seq

本次以Pytorch的Translationwithsequencetosequencenetworkandattention为例，介绍一下Seq2Seq和Attention机制，顺便了解一下最简单的NMT
beyourselfwb·2019-07-02 17:07

【机器学习】从RNN到Attention 中篇 从Seq2Seq到Attention in Seq2Seq

变长输出模型——Seq2Seq在上一篇【机器学习】从RNN到Attention上篇循环神经网络RNN，门控循环神经网络LSTM中，我们的建模基础是通过一串历史的时间序列x1,x2,.....,xtx_1
努力学挖掘机的李某某·2019-06-30 13:49

Pytorch学习记录-torchtext和Pytorch的实例（ 使用神经网络训练Seq2Seq代码）

Pytorch学习记录-torchtext和Pytorch的实例10.PyTorchSeq2Seq项目介绍1.使用神经网络训练Seq2Seq1.1简介，对论文中公式的解读1.2数据预处理我们将在PyTorch
kyle1314608·2019-06-26 15:00

深度学习（9）-序列模型（seq2seq,机器翻译，集束搜索，注意力模型，语音检测与CTC）

网易云课堂吴恩达深度学习微专业相关感受和总结。最后的课程讲了序列模型，因为还没做过这块的内容，所以记录下一些个人感觉有点意思的东西，温故知新，了解概念，后续需要能深入学习。上一篇：深度学习（8）-NLP（词嵌入，嵌入矩阵，词向量，情绪分类，偏见问题）目录序列模型beamsearch(集束搜索算法，又叫定向搜索)注意力模型（AttentionModel)语音检测与CTC算法序列模型机器翻译(seq2
执契·2019-06-26 13:38
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他