seq2seq

深度强化学习用于对话生成（论文笔记）

一、如何定义一个好的对话尽管SEQ2SEQ模式在对话生成方面取得了成功，但仍出现了两个问题（图1）：通过使用最大似然估计(MLE)目标函数预测给定会话上下文中的下一个对话转角来训练SEQ2SEQ模型。
渣渣宇·2018-12-28 16:03

机器学习与深度学习系列连载： 第四部分 对抗网络GAN (六) 对抗网络 （EBGAN，Info GAN，Bi GAN，VAE-GAN， Seq2Seq GAN）

对抗网络GAN家族简介（EBGAN，InfoGAN，BiGAN，VAE-GAN，Seq2SeqGAN）1.Energy-basedGANEBGAN其实就是鉴别器Discriminator，提前用AutoEncoder
人工智能插班生·2018-12-25 09:06

Seq2Seq(Encoder-Decoder)、Attention的详细介绍

上一篇博客循环神经网络及其变体的学习与博客总结中，提到了Seq2Seq和Attention这些知识点，但讲得不够详细，这篇博客将对这两个知识点进行详细的介绍和代码总结。
婶婶world_peace·2018-12-24 22:42

[深度学习]从Attention到Transformer到BERT

AttentionVisualizingANeuralMachineTranslationModel(MechanicsofSeq2seqModelsWithAttention)TransformerTheIllustratedTransformerBERTTheIllustrat
Thorrrrrrrrrr·2018-12-24 12:05

seq2seq中的attention机制

博客已迁至知乎，本文链接：https://zhuanlan.zhihu.com/p/70905983前言本文来讲一讲应用于seq2seq模型的两种attention机制：BahdanauAttention
滴水无痕0801·2018-12-23 22:36

【TensorFlow】实现简单的Seq2Seq模型

1.该模型是一个Seq2Seq模型；2.其input为一个整数序列，label则为该整数序列后面追加整数1；3.例如input=[3,2,1,4],lable=[3,2,1,4,1]importnumpyasnpimporttensorflowastfimportfunctools
BQW_·2018-12-23 09:23

【TensorFlow】实现动态LSTM(Dynamic LSTM)

1.该模型是一个Seq2Seq的模型：输入：(0,1)序列；例如x=(1,1,1,0,0,0,1,1)标签：输出(0,1)序列右移若干位后的序列；例如将x右移2位后，y=(0,0,1,1,1,0,0,0
BQW_·2018-12-22 23:25

完全图解自然语言处理中的Transformer——BERT基础（入门长文）

翻译自JayAlammarBlog在上一篇文章可视化Seq2Seq+attention中，我们介绍了现在深度学习中特别常用的Attention（注意力）机制。注意力可以提升机器翻译的效果。
whieper·2018-12-20 11:10

详解Attention is All U Need

原文链接https://blog.csdn.net/lqfarmer/article/details/73521811已有Seq2Seq模型Seq2Seq模型是处理序列到序列问题的利器，尤其是在神经网络翻译方面
happyprince·2018-12-19 16:27

神经网络机器翻译seq2seq（nlp实践2）

本实践采用的是IWLSTTED演讲en_zh数据集，基于tensorflow实战google深度学习框架（第二版）一书所进行的实验，大部分代码直接是用的书上的，为了更好地巩固知识，所以整理成博客。首先从相关网站上下载数据集，解压，代码如下所示：wgethttps://wit3.fbk.eu/archive/2015-01//texts/en/zh/en-zh.tgztarxzvfen-zh.tgz
strivinging·2018-12-19 14:48

Tensorflow Seq2Seq Decoder阶段Helper的实现

BasicDecoder和dynamic_decode为了简单起见，从decode的入口dynamic_deocde函数开始分析：dynamic_decode(decoder,output_time_major=False,impute_finished=False,maximum_iterations=None,parallel_iterations=32,swap_memory=False,s
Honay_King·2018-12-17 17:05

[实战Google深度学习框架]Tensorflow(7)自然语言处理

Seq2Seq模型可以看做是一个条件语言模型(Conda
gdtop818·2018-12-13 00:53

bert之transformer（attention is all you need）

AttentionIsAllYouNeed自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention
fkyyly·2018-12-12 18:19

（八）sequence to sequence —1

基于tensorflow1.4Seq2seq的实现importhelpersimporttensorflowastffromtens
天生smile·2018-12-12 16:47

【TensorFlow】实现Basic RNN

该模型是一个Seq2Seq的模型：输入：(0,1)序列；例如x=(1,1,1,0,0,0,1,1)标签：输出(0,1)序列右移若干位后的序列；例如将x右移2位后，y=(0,0,1,1,1,0,0,0)因此该模型的作用是给定一个
BQW_·2018-12-09 23:00

TensorFlow学习之LSTM ---机器翻译（Seq2Seq + Attention模型）

一、理论知识Seq2Seq模型的基本思想：使用一个循环神经网络读取输入句子，将这个句子的信息压缩到一个固定维度的编码中；再使用另一个循环神经网络读取这个编码，将其“解压”为目标语言的一个句子。
CharlesWu123·2018-12-04 19:08

使用attention机制的seq2seq模型实现论文翻译

1、概述本文是关于attention-seq2seq模型实现中文到英文的翻译。论文的核心gru作为seq2seq模型的基本单元。
孙宝龙·2018-12-04 16:31

基于卷积的神经网络的时间序列预测——WaveNet

基于卷积的神经网络的时间序列预测——WaveNet原文博客的参考地址：https://jeddy92.github.io/JEddy92.github.io/ts_seq2seq_conv/项目参考地址
MXuDong·2018-12-02 16:38

台湾NTU李宏毅的Machine Learning (2017,Fall)，部分要点总结3：Auto-encoder，GAN，seq2seq相关，RNN等

文章目录Auto-encoderAuto-encoderforCNNPre-trainingDNNVariationalAuto-encoder(VAE)GenerativeAdversarialNetwork(GAN)RNNSequenceGenerationConditionalSequenceGenerationDynamicConditionalGenerationPointerNetwo
强殖装甲凯普·2018-11-30 17:22

开源 | IBM、哈佛共同研发：Seq2Seq模型可视化工具

作者|BenDickson译者|刘旭坤编辑|Jane出品|AI科技大本营近年来随着深度学习和神经网络技术的发展，机器翻译也取得了长足的进步。神经网络结构越来越复杂，但我们始终无法解释内部发生了什么，“黑箱问题”一直困扰着我们。我们不清楚程序在翻译过程中如何进行决策，所以当翻译出错时也很难改正。随着深度学习在各行各业中的广泛应用，深度学习的不可解释性已经成为其面临的严峻挑战之一。今年，在德国柏林举办
AI科技大本营·2018-11-30 17:27

基于tensorflow 使用seq2seq+attention+beansearch搭建一个聊天机器人教程（附github源码）

https://blog.csdn.net/hl791026701/article/details/84404901这篇博文主要是介绍基于tensorflow使用google的seq2seq模型来构建一个聊天机器人
剑之所致，心之所往·2018-11-23 23:23

RNN激活函数、Encoder-Decoder、Seq2Seq、Attention

RNN中为什么使用使用tanh激活，不用sigmoid、ReluSigmoid函数的导数范围是(0,0.25],Tanh函数的导数是(0,1]。由于RNN中会执行很多累乘，小于1的小数累乘会导致梯度越来越接近于0,出现梯度消失现象。Tanh与Sigmoid相比，梯度更大，收敛速度更快并且出现梯度消失的情况要优于Sigmoid。另一点是Sigmoid的输出均大于0，不是零对称的，这会导致偏移现象，因
-牧野-·2018-11-23 16:01

机器学习与深度学习系列连载： 第二部分 深度学习（二十四) Pointer Network

那我们使用Seq2Seq的Model呢？这是一个典型的一个序列到另一个序列的问题。但是输出Seq的长度是固定的，比如训练的时候，输入是10个点，输出是5个点，但是如果输入变成100个点，输出还
人工智能插班生·2018-11-16 22:24

机器学习与深度学习系列连载： 第二部分 深度学习（二十) 轮询采样 Scheduled Sampling

计划采样ScheduledSampling和强化学习辅助当我们用Seq2Seq模型进行训练和测试的时候，很容易遇到Mismatch的问题，因为训练的时候，不同的timestep输入的是groudTruth
人工智能插班生·2018-11-14 09:44

机器学习与深度学习系列连载： 第二部分 深度学习（十九) 注意力机制 Attention

注意力机制Attention我们以机器翻译为例，来探究引入注意力机制Attention：当我们使用Seq2Seq进行机器翻译的过程中，最后的输入对结果影响响度比较大，因为Encode的输出是在尾部（图中粉红色部分
人工智能插班生·2018-11-14 09:15

机器学习与深度学习系列连载： 第二部分 深度学习（十八) Seq2Seq 模型

Seq2Seq模型Seq2Seq模型是自然语言处理中的一个重要模型，当然，这个模型也可以处理图片。
人工智能插班生·2018-11-13 09:05

Attention mechanism --学习笔记

0、注意力机制在seq2seq的模型里面，解码器在各个时间步都依赖相同的背景变量/向量来获取输入序列信息，当编码器为循环神经网络时，背景变量来着它最终时间步的隐藏状态。
Juanly Jack·2018-11-11 15:26

seq2seq编码器与解码器 --学习笔记

0、网络图结构从上图可以看出，编码是一个RNN网络，当然可以是一个单向RNN也可以是一个双向RNN，C是一个context为背景变量，将输入信息进行编码汇总得到一个信息。接着由这个背景变量作为解码的输入，加上隐藏变量和输出变量，得到结果在进行映射，依次得到序列的每个预测结果。以上x1，x2，x3分别表示时间步输入，h1，h2等分别表示时间步隐藏状态，y1，y2分别表示时间步输出，s1，s2分别表示
Juanly Jack·2018-11-08 20:07

NLP——基于seq2seq的简易中英文翻译系统

基于seq2seq的简易中英文翻译系统1.项目背景项目地址：https://github.com/audier/my_deep_project/tree/master/NLP1.1seq2seq与lstm
Audior·2018-11-08 14:08

17-seq2seq-映射关系

一、前言本例将简单使用seq2seq模型训练出一个简单的词向量映射关系的案例，往细一点说，就是首先准备有映射关系的数据用来作为数据集，然后将输入数据映射到语义空间传入编码器，然后得到它的状态信息，然后把状态信息传入解码器并且该信息和
CDBmax数据分析服务:南枫木木·2018-11-06 21:08

attention详解

在seq2seq+attention入门里曾经提到一点attention，感觉这个东西很有意思，模型千变万化，也非常符合人类的思想，在这里详细介绍下attention1.定义剥离开seq2seq模型，Google
IT莫莫·2018-11-01 12:22

【深度学习】资源：最全的 Pytorch 资源大全

pytorch-seq2seq：PyTorch中实现的序列到序列（seq2seq）模型的框架。anuv
ChenVast·2018-10-22 10:49

【深度学习】资源：最全的 Pytorch 资源大全

pytorch-seq2seq：PyTorch中实现的序列到序列（seq2seq）模型的框架。anuv
ChenVast·2018-10-22 10:49

seq2seq+attention入门

前言本来是要了解attention模型，因为我自己的毕设主要在做分类，借此机会了解一下attention模型，其实之前实习的时候有用过seq2seq模型，现在在博客中补上记录。
IT莫莫·2018-10-20 11:37

主题感知的响应生成——TA-Seq2Seq model

主题感知的响应生成——TA-Seq2Seqmodel《TopicAwareNeuralResponseGeneration》概述本文介绍了一种将topicmodel与seq2seq的方法，主题来自于预训练
angus_monroe·2018-10-20 00:19

2. Attention Is All You Need（Transformer）算法原理解析

AttentionIsAllYouNeed（Transformer）算法原理解析3.ELMo算法原理解析4.OpenAIGPT算法原理解析5.BERT算法原理解析6.从Encoder-Decoder(Seq2Seq
hyc339408769·2018-10-18 23:00

[自然语言处理]Text Generation Wiki

摘要收集一些文本生成方面的资源博客资源KerasSeq2SeqTitleGenerate:https://spaces.ac.cn/archives/5861/comment-page-1KerasOfficialBlogaboutSeq2Seq
LeYOUNGER·2018-10-18 10:38

tensorflow中sequence_loss_by_example()函数的计算过程（结合TF的ptb构建语言模型例子）

注：由于tensorflow版本的不同，这个函数所在的模块可能不同，如：tf.nn.seq2seq.sequence_loss_by_example和tf.contrib.legacy_seq2seq.sequence_loss_by_example
闰土不用叉·2018-10-15 20:30

自然语言处理中的Attention机制

AttentioninNLPAdvantage:integrateinformationovertimehandlevariable-lengthsequencescouldbeparallelizedSeq2seqEncoder–Decoderframework
Shingle_·2018-10-14 13:29

循环神经网络三种经典模型

本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角，帮助初学者更好地入门。
Paulzhao6518·2018-10-03 10:04

GAN(9)——sequence generation

seq2seq的模型训练传统方法的问题——RL中不存在标准回答，用Reward标识每个样本的权重，迭代更新两者其实不是矛盾的，maximumlikelihold作为判别器，RL本身作为生成器？
chen5561·2018-09-30 20:35

京东2019校园招聘笔试+面试（算法工程师岗位）

我就把项目中用到的seq2seq模型+Attention机制整个框架给他画出来了。然后把seq2seq模型+Attention机制原理讲了一遍。（3）你是怎么把词变成向量输入到你的神经网络中的呢？
Microstrong0305·2018-09-27 14:06

吴恩达老师深度学习视频课笔记：序列模型和注意力机制

基础模型：比如你想通过输入一个法语句子来将它翻译成一个英语句子，如下图，seq2seq模型，用x一直到x来表示输入句子的单词，然后我们用y到y来表示输出的句子的单词，如何训练一个新的网络，来输入序列x和输出序列
fengbingchun·2018-09-24 14:57

Encoder-Decoder模型和Attention模型

这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。
奔跑的毛毛虫·2018-09-11 22:51

深度学习（BOT方向） 学习笔记（1） Sequence To Sequence 学习

1、Seq2Seq是什么从一个Sequence做某些工作映射到（to）另外一个Sequence的任务具体结合实际应用来说，如下的连个任务都可以看做是Seq2Seq的任务“1、SMT翻译任务（源语言的语句
奔跑的毛毛虫·2018-09-11 21:16

Seq2Seq

关于seq2seq，我看过这位博主的文章，并且也去实践过，当时还将他的文章整理成博客笔记。但是，当时对seq2seq的理解确实不是很到位，所以昨天看到这位博主时是很疑惑的。
放开那个BUG·2018-09-06 14:09

pytorch记录：seq2seq例子看看这torch怎么玩的

先看看简单例子：importtorchimporttorch.autogradasautogradimporttorch.nnasnnimporttorch.nn.functionalasFimporttorch.optimasoptimtorch.manual_seed(1)用torch.tensor让list成为tensor：#Createa3Dtensorofsize2x2x2.T_data
NockinOnHeavensDoor·2018-09-02 23:17

维特比算法和beam search

因为考虑到seq2seq的inference阶段的搜索空间过大而导
Ding_xiaofei·2018-09-01 15:40

【机器学习】【seq2seq模型与attention机制，Beam Search】

seq2seq模型依赖于encode和decode两个模块。encoder用于对输入序列编码，decorder则是解码。以一
forwiat·2018-08-28 22:52

神经网络在智能摘要中应用

前段时间，因为工作需要，对智能摘要做了调研，主要集中在神经网络方法，主要方法是生成式abstract方法，应用seq2seq生成居多。
五步千里·2018-08-22 21:36
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他