Encoder-Decoder

【译】Keras中实现带有attention机制的encoder-decoder rnn 结构

最近正好要实现带有attention机制的encoder-decoder结构，发现Jason大神https://machinelearningmastery.com/encoder-decoder-attention-sequence-to-sequence-prediction-keras
婶婶world_peace·2019-01-07 14:05

Seq2Seq(Encoder-Decoder)、Attention的详细介绍

目录Seq2Seq介绍与挑战Encoder-Decoder结构Encoder-Decoder模型的四种结构直接编码-解码模型（DirectEncoder
婶婶world_peace·2018-12-24 22:42

在NLP中广泛应用的transformer（Self-Attention）剖析笔记

在NLP中广泛应用的transformer（Self-Attention）的剖析笔记模块剖析整体框图Encoder-Decoder框架EncoderInputEmbeddingPositionalEncodingEncoderstacksMulti-HeadAttentionExampleforhowSelf-AttentionworksWhyMulti-HeadFeedForwardDecode
zhyuxie·2018-12-21 09:13

循环神经网络及其变体的学习与博客总结

它有很多变体，比如LSTM和GRU，这一部分还涉及到Seq-2-Seq、Encoder-Decoder和Attention知识点，总之内容很多，需要细学与总结。
婶婶world_peace·2018-12-14 22:12

【Transformer模型】：Attention is all your need(附attention的代码)

这篇论文摒弃了传统encoder-decoder模型必须结合cnn或者rnn的固有模式，只用了attention模型，可谓大道至简。
DivinerShi·2018-12-12 21:29

深度学习：transformer模型

arxiv上的一篇文章《Attentionisallyouneed》，提出解决sequencetosequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder
-柚子皮-·2018-12-10 21:24

注意力机制实现机器翻译

上图是Encoder-Decoder模型，Decoder中每个单词生成过程如下：其中C是“语义编码C”，f是Decoder的非线性变换函数。
醇岩·2018-12-08 00:00

详解Transformer模型（Atention is all you need）

1概述在介绍Transformer模型之前，先来回顾Encoder-Decoder中的Attention。
微笑sun·2018-12-05 16:00

TensorFlow学习之LSTM ---机器翻译（Seq2Seq + Attention模型）

这两个循环神经网络分别称为编码器（Encoder）和解码器（Decoder），所以也称为encoder-decoder模型。
CharlesWu123·2018-12-04 19:08

Encoder-Decoder模型学习中（更新中）

毕业答辩要做，导师给了Encoder-Decoder模型，完全不知道是什么？希望用笔记的方式记录下学习的过程。
qq_36098284·2018-11-25 19:28

RNN激活函数、Encoder-Decoder、Seq2Seq、Attention

RNN中为什么使用使用tanh激活，不用sigmoid、ReluSigmoid函数的导数范围是(0,0.25],Tanh函数的导数是(0,1]。由于RNN中会执行很多累乘，小于1的小数累乘会导致梯度越来越接近于0,出现梯度消失现象。Tanh与Sigmoid相比，梯度更大，收敛速度更快并且出现梯度消失的情况要优于Sigmoid。另一点是Sigmoid的输出均大于0，不是零对称的，这会导致偏移现象，因
-牧野-·2018-11-23 16:01

All you need is attention（Tranformer） --学习笔记

1、回顾传统的序列到序列的机器翻译大都利用RNN或CNN来作为encoder-decoder的模型基础。实际上传统机器翻译基于RNN和CNN进行构建模型时，最关键一步就是如何编码这些句子的序列。
Juanly Jack·2018-11-16 17:43

机器学习与深度学习系列连载： 第二部分 深度学习（十八) Seq2Seq 模型

特点是：Encoder-Decoder大框架适用于语言模型、图片模型、甚至是预测1.RNN相关的生成应用：(1)作诗(2)图片生成pixelRNN2.条件生成ConditionGeneration：我们生成的结构化的结果是基于一个条件的基础
人工智能插班生·2018-11-13 09:05

【论文笔记】Neural Machine Translation by Jointly Learning to Align and Translate

NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate--这篇论文算是在自然语言处理(NLP)中或是encoder-decoder中第一个使用
我从崖边跌落·2018-11-05 22:58

深度学习中的注意力机制(Attention Model)

目录一、人类的视觉注意力二、Encoder-Decoder框架三、Attention模型四、SoftAttention模型Attention机制的本质思想五、SelfAttention模型六、Attention
hearthougan·2018-11-05 00:00

详解注意力机制（Attention）——Global/Local/Self Attention

详解注意力（Attention）机制注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容
盐味橙汁·2018-10-25 21:28

2. Attention Is All You Need（Transformer）算法原理解析

1.语言模型2.AttentionIsAllYouNeed（Transformer）算法原理解析3.ELMo算法原理解析4.OpenAIGPT算法原理解析5.BERT算法原理解析6.从Encoder-Decoder
hyc339408769·2018-10-18 23:00

Attention本质剖析

Why语音识别或机器翻译领域传统Encoder-Decoder方案遇到性能瓶颈。
chinabing·2018-10-13 13:02

Attention机制

在sequence-to-sequence学习中，输入和输出都是序列，通常采用Encoder-Decoder的框架进行处理。
zxhohai·2018-09-24 22:51

摒弃encoder-decoder结构，Pervasive Attention模型与Keras实现

1.引言现有的主流机器翻译模型，基本都是基于encoder-decoder的结构，其思想就是对于输入句子序列，通过RNN先进行编码（encoder），转化为一个上下文向量contextvector，然后利用另一个
林楚海·2018-09-15 17:46

论文阅读：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

google出品，deeplabv3+，在v3的基础上添加了decoder模块，以此来改进算法，在性能上有0.8%的提升。写的蛮不错的，做了很多实验来论证，insight也很清楚，motivation也讲得很明白。给作者笔芯芯。
涂山容容·2018-09-13 23:39

Encoder-Decoder模型和Attention模型

1.Encoder-Decoder模型及RNN的实现所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？
奔跑的毛毛虫·2018-09-11 22:51

使用Encoder-Decoder模型自动生成对联的思路——encode-decoder理解（3）

|Encoder-Decoder模型Encoder-Decoder框架可以看作是一种文本处理领域的研究模式，应用场景异常广泛。
奔跑的毛毛虫·2018-09-11 22:12

深度学习（BOT方向） 学习笔记（2） RNN Encoder-Decoder 及 LSTM 学习

再看RNNEncoder-Decoder框架这里复习下Sequence2Sequence任务到底是什么，所谓的Sequence2Sequence任务主要是泛指一些Sequence到Sequence的映射问题，Sequence在这里可以理解为一个字符串序列，当我们在给定一个字符串序列后，希望得到与之对应的另一个字符串序列（如翻译后的、如语义上对应的）时，这个任务就可以称为Sequence2Seque
奔跑的毛毛虫·2018-09-11 21:35

人脸对齐（二十一）--A Recurrent Encoder-Decoder Network for Sequential Face Alignment

转自：https://blog.csdn.net/shuzfan/article/details/52438910本次介绍一篇关于人脸关键点检测(人脸对齐)的文章：《ECCV16ARecurrentEncoder-DecoderNetworkforSequentialFaceAlignment》.作者主页：https://sites.google.com/site/xipengcshomepage
Eason.wxd·2018-08-22 15:12

Seq2Seq+Attention+Beam Search

Seq2SeqSeq2Seq本质上是条件生成模型（ConditionalGeneration），在现有的模型中，看图说话（Imagecaption）也是类似的条件生成模型，它们的结构很类似，如下图所示都是Encoder-Decoder
Ding_xiaofei·2018-08-10 10:03

Seq2Seq+Attention+Beam Search

Seq2SeqSeq2Seq本质上是条件生成模型（ConditionalGeneration），在现有的模型中，看图说话（Imagecaption）也是类似的条件生成模型，它们的结构很类似，如下图所示都是Encoder-Decoder
Ding_xiaofei·2018-08-10 10:03

Encoder-Decoder自动生成对联，要试试么？

实现了一份基于seq2seq的自动对联的代码，感兴趣的小伙伴可以下载学习）另外，点击阅读原文尝试微软的自动对联系统（http://duilian.msra.cn/app/couplet.aspx）为什么说Encoder-Decoder
机器学习算法与Python学习-公众号·2018-07-17 19:00

论文笔记（一）【 Disentangled Representation Learning GAN for Pose-Invariant Face Recognition】

（1）通过generator的encoder-decoder框架学习了生成和判别的表示（representation）；（2）这种表示是从姿态这种人脸变量得出。
daydayjump·2018-07-07 11:17

Semi-supervised Sequence Learning

encoder-decoder输入序列文本=['12345','678910','1112131415','1617181920','2122232425']目标序列文本=['onetwothreefourfive
不贪心_9eab·2018-06-28 09:12

深度学习语义分割(二)SegNet论文解读

SegNet是是第一次在语义分割中应用编码器-解码器(encoder-decoder)的结构。
su扬帆启航·2018-06-23 17:05

Image caption——图像理解——看图说话综述（2015-2018）

有点类似于看图说话的感觉，此次我想讲的主要是自2015年出现的encoder-decoder这一些列模型以及他们的变体。
咸鱼就是咸鱼·2018-05-31 12:31

论文笔记：GRU----RNN Encoder-Decoder

>这篇论文在传统的Encoder-Decoder模型上使用RNN，模型结构如下：看图就知道要说什么了，亮点在于文章对隐层节点的创新：先回顾下传统的naiveRNN：看图就行，不多说。
白痴一只·2018-05-25 20:36

论文笔记(attention 1)----NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

1.weaknessofsimpleRNNencArchitecture传统的neuralmachinetranslation大都是基于encoder-decoder模型，即通过一个encoder将源句子编码成一个固定长度的向量表示
白痴一只·2018-05-25 16:52

【论文阅读】Neural Machine Translation by Jointly Learning to Align and Translate

其实也就是attention机制introduction:常用的encoder-decoder模式在编码成固定长度的向量时，可能会失去一些有用的信息，
BeforeEasy·2018-05-19 20:53

用Encoder-Decoder模型自动生成文本摘要

当针对机器翻译开发的Encoder-Decoder循环神经网络结构应用于文本摘要问题时，它也已经被证明是有效的。
mlooker·2018-05-17 11:43

attention model--Neural machine translation by jointly learning to align and translate论文解读

为什么需要attention传统的encoder-decoder模型大致如下图所示：可以看出传统模型把句子的所有语义信息浓缩为一个中间语义C，每一个输出的y都是利用了同一个C，所以输出的每个y都利用了相同的语义信息
bobobe·2018-05-11 17:14

非RNN的新型seq2seq任务网络模型(self-attention机制)

目前业界主流方法在解决seq2seq任务的时候往往采取的是encoder-decoder架构，由
guoyuhaoaaa·2018-05-02 14:55

《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》论文笔记

论文地址：https://arxiv.org/pdf/1802.02611.pdf源码地址：TENSORFLOW语意分割相关，Deeplab3+看了几篇Deeplab的文章。觉得Deeplab的文章的思想还是很相近的，可能方法的创新上不是非常重大的突破。但是方法的应用上都是非常的...嗯，集大成的。通过实验的方式去探索各种方法的结合。探究每一个因素对于网络的影响，从而把前人的精髓都集成到自己的方法
An_chen_·2018-04-23 22:46

《Learning Deconvolution Network for Semantic Segmentation》论文笔记

注：文章仅是对自己学习的记录，非专业评论what：文章讲了一个反卷积用于语义分割的模型，这个模型也属于一个encoder-decoder模型，与大多数类似的模型一样，传承了FCN的思想，编码网络沿用了VGG
An_chen_·2018-04-12 10:14

深度学习---深度学习笔记(七)：Encoder-Decoder模型和Attention模型

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 23:37

深度学习---深度学习笔记(六)：LSTM

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 23:56

深度学习---深度学习笔记(五)：循环神经网络的概念，结构和代码注释

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 23:31

深度学习---深度学习笔记(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 23:49

深度学习---深度学习笔记(三)：激活函数和损失函数

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 23:44

深度学习---深度学习笔记(二)：简单神经网络，后向传播算法及实现

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 23:20

深度学习---深度学习笔记(一)：logistic分类

(四)：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)深度学习笔记(五)：循环神经网络的概念，结构和代码注释深度学习笔记(六)：LSTM深度学习笔记(七)：Encoder-Decoder
Dean0Winchester·2018-04-06 22:05

DeepLab V3+：DeepLab系列的极致？

理解DeepLabV3+的构架首先需要理解DeepLabV3（可以参考博主的前一篇博客），V3+基本上可以理解成在原始的基础上增加了encoder-decoder模块，进一步保护物体的边缘细节信息。
JYZhang_sh·2018-03-17 19:27

论文阅读学习 - (DeeplabV3+)Encoder-Decoder with Atrous Separable Convolution

论文阅读学习-(DeepLabV3+)Encoder-DecoderwithAtrousSeparableConvolutionforSemanticImageSegmentation[Paper][Code-TensorFlow]摘要：空间金字塔池化模块(spatialpyramidpooling，SPP)和编码-解码结构(encode-decoder)用于语义分割的深度网络结构.SPP利用对多
AIHGF·2018-03-14 16:25

极简笔记 DeepLabv3+

极简笔记】Encoder-DecoderwithAtrousSeparableConvolutionforSemanticImageSegmentation文章核心：1.提出DeepLabv3+，采用encoder-decoder
Hibercraft·2018-03-09 16:05
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他