Seq2seq 第27页

ML/DL补充

星尘逸风·2020-07-12 12:52

在seq2seq中玩文章摘要预处理数据（NLP）

数据预处理：importpandasaspdimportnumpyasnpimporttensorflowastfimportrefromnltk.corpusimportstopwordsimporttimefromtensorflow.python.layers.coreimportDensefromtensorflow.python.ops.rnn_cell_implimport_zero_

我的天空足够你跳舞·2020-07-12 11:52

NLP教程：教你如何自动生成对联

本项目使用网络上收集的对联数据集地址作为训练数据，运用Seq2Seq+注意力机制网络完成了根据上联对下联的任务。项目流

weixin_34177064·2020-07-12 09:07

深度学习的seq2seq模型

从rnn结构说起根据输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。如下图，onetoone结构，仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。onetomany结构，给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。manytoone结构，给一系列输入得到一个输出，这种结构可用于文本情感分析，对一些列的文本输入进行分类

weixin_33709364·2020-07-12 07:32

【深度学习】Attention

seq2seq中的attention机制我们在encoder的过程中保留每个RNN单元的隐藏状态（hiddenstate）得到（h1……hN）然后对于decoder的每一个timestep，因为有此时decoder

littlemichelle·2020-07-12 07:58

tensorflow seq2seq模型代码阅读分析

如果刚开始入门该模型请阅读tf官方说明：Sequence-to-SequenceModels模型应用于机器翻译的示例代码：github如果还没有看懂tf的translate示例代码，请先理解透彻translate项目代码之后再阅读本文。开始开始阅读源码之前，应该对模型有基本的认识，了解模型的基本原理。我认为需要注意的几个关键点是：1、outputprojection的作用2、attention的计

行_之_·2020-07-12 04:37

seq2seq模型实现

致谢找了很久才找到的一个非常不错的seq2seq实现的教程源代码基于tensorflow1.6原文链接正文本文是基于TensorFlow1.6版本的Seq2Seq模型实现了一个机器翻译（MachineTranslation

ttv56·2020-07-12 04:27

Task04:机器翻译及相关技术/注意力机制与Seq2seq模型/Transformer

1.机器翻译机器翻译(MT)是将一个句子x从一种语言(源语言)转换为另一种语言(目标语言)的句子y的任务。机器翻译的大致流程就是根据输入的文本，神经网络开始学习和记忆，这个就是所谓的Encoder编码过程；然后根据自己的记忆，把文本一一翻译出来，这个就是所谓的Decoder解码过程。机器翻译的基本流程如下：文本处理，这里我是以eng_fra的文本为例，每行是english[tab]french，以

穿囚服的兔子·2020-07-12 02:53

使用seq2seq模型实现一个聊天机器人

使用了TensorFlow中的transalte程序实现对问题的分类，即输入一个问题，输出一个问题的编码。具体过程如下：（1）使用的版本为tensorflow-0.12.0-rc1，但该版本中存在一个bug，需要进行修改，将data_utils.py中的函数initialize_vocabulary中：rev_vocab=[line.strip()forlineinrev_vocab]修改为：re

EthanSheng·2020-07-12 01:35

DL4NLP —— seq2seq+attention机制的应用：文档自动摘要（Automatic Text Summarization）

两周以前读了些文档自动摘要的论文，并针对其中两篇（[2]和[3]）做了presentation。下面把相关内容简单整理一下。文本自动摘要（AutomaticTextSummarization）就是说在不改变文档原意的情况下，利用计算机程序自动地总结出文档的主要内容。自动摘要的应用场景非常多，例如新闻标题生成、科技文献摘要生成、搜索结果片段（snippets）生成、商品评论摘要等。在信息爆炸的互联网

mishidemudong·2020-07-12 01:44

带Attention机制的Seq2Seq框架梳理

借着与同事组内分享的机会，根据论文NeuralMachineTranslationByJointlyLearningtoAlignandTranslate把带Attention机制的Seq2Seq框架Encoder

thriving_fcl·2020-07-12 00:05

Attention机制介绍（原理+代码）

直接进入正题吧，在介绍Attention机制之前需要知道什么是seq2seq模型，也就是Encoder-Decoder模型，下面对seq2seq进行简单的介绍。

阴天了·2020-07-12 00:51

基于seq2seq的中国对联自动配对技术实践

SequencetoSequence模型这种基于编码--解码的模型已经被谷歌成功应用于机器翻译上。而理论上任意的序列到序列的有监督问题都可以用这种模型。如上一篇文章写的古诗生成。包括这一篇实践性的对联配对。对对联生成过程中，需要使用LSTM来实现，然后需要设置其编码与解码的相关参数。如下所示：#创建基本的LSTM单元cells=[tf.contrib.rnn.DropoutWrapper(tf.c

sparkexpert·2020-07-11 23:48

Tensorflow源码解读：Attention Seq2Seq模型

原文地址Tensorflow版本：r0.12github源码tf.nn.seq2seq文件共实现了5个seq2seq函数，因为本文重点讲解最后一个，所以前4个简要介绍一下。

牛腩面·2020-07-11 22:17

Tensorflow 自动文摘: 基于Seq2Seq+Attention模型的Textsum模型

Github下载完整代码https://github.com/rockingdingo/deepnlp/tree/master/deepnlp/textsum简介这篇文章中我们将基于Tensorflow的Seq2Seq

rockingdingo·2020-07-11 22:14

Keras实现英文到中文机器翻译 seq2seq+LSTM

该模型实现的是英文到中文的翻译，下图为了更好展示模型架构借用大佬的图(这里没有用到Embeddings)：本文完整代码:Github目录一、处理文本数据1.获得翻译前后的句子2.创建关于字符-index和index-字符的字典3.对中文和英文句子One-Hot编码二、建立模型三、decoder预测每个字符四、训练模型五、展示整体由encoder和decoder两大部分组成，每部分都有一个LSTM网

萌龙如我们·2020-07-11 21:26

NLP中的注意力模型 Attention model（学习心得）

Attentionmodelintuition在前面的seq2seq模型基础上做些改进，形成注意力模型Attention的思想已经是深度学习中最重要的之一给定一个非常长的法语句子前面讲到的模型，会把原句子输入编码

AItrust·2020-07-11 20:55

seq2seq+attention=>评论摘要

SummarizingTextwithAmazonReviews数据集：Amazon500000评论本节内容:数据预处理构建Seq2Seq模型训练网络测试效果seq2seq教程:https://github.com

小智rando·2020-07-11 18:15

tensorflow之综合学习系列实例之SEQ2SEQ+ATTENTION

本文继续和大家一起学习一下在序列网络中引入优化机制-注意力机制,如果在序列很长的情况下,不引入这个机制,识别效果是不会太好的,首先还是看看seq2seq的基本知识:seq2seq就是把一个序列翻译成另一个序列的模型

贾红平·2020-07-11 15:43

seq2seq + attention

2、seq2seq+attention注意的几个问题：①如果编码器的RNNCell是LSTM，那么它输出的高阶向量C（递归状态）的维度=2*hidden_size，而GRU的C向量的维度=hidden_size

自学AI的鲨鱼儿·2020-07-11 15:13

seq2seq和attention如何应用到文档自动摘要

文本自动摘要（AutomaticTextSummarization）就是说在不改变文档原意的情况下，利用计算机程序自动地总结出文档的主要内容。自动摘要的应用场景非常多，例如新闻标题生成、科技文献摘要生成、搜索结果片段（snippets）生成、商品评论摘要等。在信息爆炸的互联网大数据时代，如果能用简短的文本来表达信息的主要内涵，无疑将有利于缓解信息过载问题。概述自动摘要可以从很多角度进行分类，例如单

AI深入浅出·2020-07-11 12:26

Attention基本原理

最基本的seq2seq模型包含一个encoder和一个decoder，通常的做法是将一个输入的句子编码成一个固定大小的state，然后作为decoder的初始状态（当然也可以作为每一时刻的输入），但这样的一个状态对于

lz739337660·2020-07-11 12:28

Seq2Seq用于LaTeX生成

这篇文章是关于im2latex的系列文章中的第二篇：它的目标是解释如何使用seq2seq模型进行LaTeX生成如何在Tensorflow中实现它。

zonas.wang·2020-07-11 11:22

从头实现一个深度学习对话系统--tensorflow Seq-to-Seq API介绍和源码分析

上一篇文章中我们已经分析了各种seq2seq模型，从理论的角度上对他们有了一定的了解和认识，那么接下来我们就结合tensorflow代码来看一下这些模型在tf中是如何实现的，相信有了对代码的深层次理解，

liuchongee·2020-07-11 11:40

Seq2Seq文本生成与tensorflow实现

1.引言近年来，深度神经网络在很多任务上都取得了不错的成绩，比如文本分类、图像识别等等，但是我们知道，像DNN神经网络结构只能解决一些分类或回归问题，而很多日常的任务却是一个序列到一个序列的映射问题，比如语音识别、机器翻译、对话系统等等，他们的输入和输出都是边长，而DNN要求输入和输出都是固定维度的，因此，这时需要引入新的结构，才能解决这种序列到序列的生成问题。2014年，谷歌提出了一种新的神经网

林楚海·2020-07-11 11:29

使用强化学习解决tsp问题（一）Seq2Seq的前生今世

实习的时候，接触到了使用强化学习去解决tsp的问题，开始先读了ATTENTION,LEARNTOSOLVEROUTINGPROBLEMS!这篇文章，文章里更改了TransformerArchitecture，并搭载了强化学习中的greedyrolloutbaseline去解决tsp的问题。无奈背景知识太少，也没有接触过强化学习相关的知识，读起来很费劲。经过请教公司的前辈，制定了下面的学习策略。前期

jsjytc·2020-07-11 09:10

seq2seq和attention应用到文档自动摘要

一、摘要种类抽取式摘要直接从原文中抽取一些句子组成摘要。本质上就是个排序问题，给每个句子打分，将高分句子摘出来，再做一些去冗余（方法是MMR）等。这种方式应用最广泛，因为比较简单。经典方法有LexRank和整数线性规划（ILP）。LexRank是将文档中的每个句子都看作节点，句子之间的相似度看作节点之间的边的权重，构建一个graph；然后再计算每个节点的分数，这个打分的计算方式可以是度中心度（De

dili8870·2020-07-11 05:25

基于seq2seq的中文聊天机器人（二）

系列文章1.基于seq2seq的中文聊天机器人（一）2.基于seq2seq的中文聊天机器人（二）3.基于seq2seq的中文聊天机器人（三）4Seq2Seq训练模型4.1Seq2Seq模型简介Seq2Seq

daniellibin·2020-07-11 04:45

基于seq2seq的中文聊天机器人（一）

系列文章1.基于seq2seq的中文聊天机器人（一）2.基于seq2seq的中文聊天机器人（二）3.基于seq2seq的中文聊天机器人（三）1背景介绍聊天机器人的研究可以追溯到上个世纪五十年代，阿兰图灵提出了一个图灵测试来回答

daniellibin·2020-07-11 04:45

动手学 Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。Encoder-Decoder¶SequencetoSequence模型¶BeamSearch¶完整代码：importsyssys.path.append('/home/kesci/input

circle_yy·2020-07-11 04:14

【NLP】seq2seq&attention文本摘要实现

Seq2seq文本摘要总结目录前言结构EncoderATTENTIONDecoderTrainingevaluate前言之前尝试用textRank+NMF做长文本摘要，但textRank是基于句子间距离的

一心想做工程师·2020-07-11 02:25

Content to Node: Self-Translation Network Embedding

3219988data&code：http://dm.nankai.edu.cn/code/STNE.rarSTNE：自翻译网络嵌入该工作认为在节点属性与结构信息再本质上是有一定联系的，提出STNE模型，利用seq2seq

akufr2065·2020-07-11 01:09

网络模型（Seq2Seq-注意力机制-编解码）

RNN要求输入队列和输出队列等长，Seq2Seq可以解决输入队列与输出队列不等长的问题。

曲奇喵·2020-07-11 01:20

Seq2seq模型

Seq2seq模型是一种manytomany结构，它实现了从一个序列到另一个序列的转换，其基本思想就是利用两个RNN，一个RNN作为恩code人，另一个作为decoder。

Zh823275484·2020-07-11 00:04

tensorflow RNN

每次训练数据输入格式为[batch_size,num_steps]（类比seq2seq中的e

yingtaomj·2020-07-10 21:06

基于Seq2Seq模型的简易中文聊天机器人

临近毕业季，又想起了做过的简易聊天机器人chartbot毕业设计，因为算是自己第一次接触这个智能问答领域吧，所以到现在还觉得特别有意思且难忘。我是个行动派，觉得有意思的东西，肯定就要记录下来了。下面我会简要叙述当时我的一些思路以及注意事项，希望对大家有所启示。1.解决的实际问题本项目类似于知识问答系统，就是用户任意输入一段话，我们的系统会自动生成回复内容，并在界面中展示出来。废话不多说，先上图吧！

飞奔的菜猪·2020-07-10 19:46

【tensorflow 学习】seq2seq模型代码解读

1.sequence-to-sequence模型官方教程使用seq2seq模型实现了英语-法语的翻译系统。

adrianna_xy·2020-07-10 18:37

直观理解并使用Tensorflow实现Seq2Seq模型的注意机制

采用带注意机制的序列序列结构进行英印地语神经机器翻译Seq2seq模型构成了机器翻译、图像和视频字幕、文本摘要、聊天机器人以及任何你可能想到的包括从一个数据序列到另一个数据序列转换的任务的基础。

deephub·2020-07-10 17:44

基于seq2seq的中文聊天机器人（三）

系列文章1.基于seq2seq的中文聊天机器人（一）2.基于seq2seq的中文聊天机器人（二）3.基于seq2seq的中文聊天机器人（三）5可视化前端5.1聊天机器人结构设计一个聊天机器人需要：浏览器前端

daniellibin·2020-07-10 16:20

一文读懂「Attention is All You Need」| 附代码实现

有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的ConvolutionalSequencetoSequenceLearning和Google的AttentionisAllYouNeed，它们都算是Seq2Seq

PaperWeekly·2020-07-10 16:59

【NLP】Attention原理和源码解析

2.原理解析针对Seq2seq翻译来说，rnn-basedmodel差不多是图1的样子：而比较基础的加入

zhangChao_Yanqiu·2020-07-10 15:05

python知识图谱+文本相似度+seq2seq聊天机器人+前端界面展示

说明本项目是在前端界面显示，基于医疗知识图谱+bert文本相似度+seq2seqattention的中文聊天机器人代码、项目报告详见githubhttps://github.com/Changanyue

木大木打木大·2020-07-10 15:41

【深度学习系列（六）】：RNN系列（4）：带注意力机制的seq2seq模型及其实战(2)：为图片添加内容描述

这里主要是对前面基于Attention的seq2seq的实战，通过seq2seq来对图片进行描述，废话不多说，一起动手吧目录一、数据集1.1、读取文本标签并存储1.2、将图片转化为特征数据并存储1.3、

wxplol·2020-07-10 12:14

tensorflow1.0一下替换的函数

Intf1.0.0,theAPIhasbeenchangedsuchas:tf.nn.seq2seq.sequence_loss_by_example(totf.contrib.legacy_seq2seq.sequence_loss_by_example

Do_More·2020-07-10 04:15

transformer模型中的self-attention和multi-head-attention机制

这篇论文主要亮点在于：（1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。

小镇大爱·2020-07-09 23:49

自然语言处理N天-Transformer学习（从seq2seq到Attention02）

新建MicrosoftPowerPoint演示文稿(2).jpg这个算是在课程学习之外的探索，不过希望能尽快用到项目实践中。在文章里会引用较多的博客，文末会进行reference。搜索Transformer机制，会发现高分结果基本上都源于一篇论文JayAlammar的《TheIllustratedTransformer》（图解Transformer），提到最多的Attention是Google的《

我的昵称违规了·2020-07-09 21:53

动手学深度学习PyTorch版-注意力机制与Seq2seq模型

注意力机制与Seq2seq模型importmathimporttorchimporttorch.nnasnnimportosdeffile_name_walk(file_dir):forroot,dirs

hongyesuifeng·2020-07-09 17:10

19KDD AccuAir Winning Solution to Air Quality Prediction for KDD Cup 2018

解决方案：建立了LightGBM、spatial-temporalgatedDNN、Seq2Seqmodel三个模型，分别用现有数据集训练；再训练一个线性模型将上述三个

AndyFlyingZZZ·2020-07-09 10:10

Unified Vision-Language Pre-Training for Image Captioning and VQA

利用双向和序列（seq2seq）mask视觉语言预测两个任务的无监督学习目标，对大量的图像-文本对进行了统一VL

小镇大爱·2020-07-09 08:44

RNN之seq2seq模型

1.RNN模型概述RNN大致可以分为4种,输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。如下图所示：onetoone结构:仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。onetomany结构:给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。manytoone结构:给一系列输入得到一个输出，这种结构可用于文本情感分析，

tide1994·2020-07-08 20:55

推荐频道

Seq2seq