seq2seq 第35页

BERT学习

Transformer是Seq2Seq的升级版，以前Seq2Seqencoder和decoder都是有CNN模型或者LSTM模型组成，现在就把这些模型替换成多个attention2.BERT的原理。

对java有感觉·2019-03-21 21:49

transformer模型中的多头attention机制

/robert-dlut/p/8638283.html《Attentionisallyouneed》中提出了多头attention机制，这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq

NeilGY·2019-03-21 17:27

可视化神经机器翻译模型（基于注意力机制的Seq2seq模型）

复制链接5月25日更新：新图形（RNN动画，文字嵌入图），颜色编码，详细阐述了最后的注意事例。**注意：**下面的动画是视频。触摸或悬停它们（如果您使用鼠标）以获得播放控件，以便您可以根据需要暂停。序列到序列模型是深度学习模型，在机器翻译，文本摘要和图像字幕等任务中取得了很大成功。谷歌翻译在2016年底开始在生产中使用这种模型。这两个模型在两篇开创性的论文中进行了解释（Sutskever等，201

BruceCheen·2019-03-21 15:15

nlp项目实践古诗创作tensorflow ---（1）数据集准备

之前一直在看前几天找到的seq2seq写对联的源码，发现它的源码好多都不是那么普遍通用的，学习他的或许不如自己写一个，所以模仿他的思路，我打算用古诗词的数据集，做一个可以自己创作古诗的模型。

rory0114·2019-03-20 18:27

文本生成的论文追溯：Seq2seq，VAE，GAN

Seq2seq《RecentAdvancesonNeuralHeadlineGeneration》JCST2017《ANeuralConversationalModel》ICML2015《TopicAwareNeuralResponseGeneration

姬香·2019-03-20 15:00

NLP实践九：Attention原理与文本分类代码实践

文章目录Attention机制的通用定义Seq2Seq中的Attention什么是Seq2Seqattention在seq2seq中的应用计算attention的第一步计算attention的第二步计算

chen_yiwei·2019-03-18 18:56

tensorflow错误： TypeError: Tensor objects are only iterable when eager execution is enabled.

最近在使用tensorflow搭建seq2seq模型，本来encoder层使用tf.nn.dynamic_rnn时是没有问题的，但是换成tf.nn.bidirectional_dynamic_rnn后，

duters_cmy·2019-03-16 21:36

keras基于CNN和序列标注的对联机器人

动手#“对对联”，我们可以看成是一个句子生成任务，可以用seq2seq完成分析#然而，我们再细想一下就会发现，相对于一般的句子生成任务，“对对联”有规律得多：1、上联和下联的字数一样；2、上联和下联的每一个字几乎都有对应关系

寒月谷·2019-03-13 14:19

BERT引发的深度学习1

目录背景知识深度学习基础知识WordEmbedding语言模型RNN/LSTM/GRU、Seq2Seq和Attention机制Tensorflow基础知识PyTorch基础知识BERT背景知识为了理解课程的内容

TINEL·2019-03-12 16:50

从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2（二）

五、ELMo论文《Deepcontextualizedwordrepresentations》认为，高质量的词表征应该包含丰富的句法和语义信息，并且能够对多义词进行建模（传统的词向量如word2vec是上下文无关的）。ELMo分为两个阶段：在大型语料库上预训练一个深度双向语言模型biLM，然后将LM各层作为新特征补充到下游任务中。这个LM是预训练过的双向耦合coupledLSTM，词向量是其内部状

liuy9803·2019-03-11 17:54

seq2seq的实现方式（3）

书接上文这里实现的是方式（4），采用attention的方式。defbuild_model(self):""""""encoder_input=layers.Input(shape=(self.input_seq_len,))encoder_embeding=layers.Embedding(input_dim=len(self.en_word_id_dict),output_dim=self.e

花咪·2019-03-10 10:24

基于attention的seq2seq机器翻译实践详解

理理思路文本处理，这里我是以eng_fra的文本为例，每行是english[tab]french，以tab键分割。获取文本，清洗。分别建立字典，一个english，一个french。根据字典写好seq2id的函数（文本序列->数字序列），并调用将文本序列化。初始化Encoder，Decoder模型；选择合适的优化器；设置lr，epochs等参数；开始循环迭代：1.因为文本太大，这里是随机选择某句进

zenRRan·2019-03-08 09:26

【干货】基于注意力机制的seq2seq网络

seq2seqseq2seq的用途有很多，比如机器翻译，写诗，作曲，看图写文字等等用途很广泛！

zenRRan·2019-03-07 18:11

自动摘要生成技术

TextRank算法提取关键词短语3、TextRank算法生成摘要1）文本相似度-BM25算法4、TextRank算法优势5、TextRank算法存在的问题及解决策略三、Abstractive抽取式算法1、seq2seq

hlang8160·2019-03-07 15:41

使用Seq2Seq+attention实现简单的Chatbot

本文代码的github连接：https://github.com/princewen/tensorflow_practice/tree/master/chat_bot_seq2seq_attentionattentionmodel

LeadAI学院·2019-03-05 18:00

隐马尔科夫模型HMM（Hidden Markov Model）学习

在深度学习领域，我们学习了深度神经网络、RNN、LSTM、Seq2Seq等时序模型，机器学习的隐马尔科夫模型HMM（HiddenMarkovModel）也是关于时序的概率模型，在语言识别，强化学习等领域应用较广

段智华·2019-03-05 13:52

如何从零开始用PyTorch实现Chatbot？（附完整代码）

本教程会介绍使用seq2seq模型实现一个chatbot，训练数据来自Cornell电影对话语料库。对话系统是目前的研究热点，它在客服、可穿戴设备和智能家居等场景有广泛应用。

AI科技大本营·2019-03-01 19:32

从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2（一）

一图了解从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2的发展过程。

liuy9803·2019-03-01 12:46

seq2seq简单总结

1.什么是seq2seq:最基础的Seq2Seq模型包含了三个部分，即Encoder、Decoder以及连接两者的中间状态向量，Encoder通过学习输入，将其编码成一个固定大小的状态向量c，继而将c传给

NeilGY·2019-02-26 14:27

Keras【极简】seq2seq

文章目录精简代码模型可视化训练器编码器（从属于训练器）解码器训练结果展示附录精简代码本文参考官网栗子，汉化注释并精简成100行代码（直接复制可用）"""《长恨歌》——白居易汉皇重色思倾国，御宇多年求不得。杨家有女初长成，养在深闺人未识。天生丽质难自弃，一朝选在君王侧。回眸一笑百媚生，六宫粉黛无颜色。春寒赐浴华清池，温泉水滑洗凝脂。侍儿扶起娇无力，始是新承恩泽时。云鬓花颜金步摇，芙蓉帐暖度春宵。春宵

基基伟·2019-02-20 21:54

NLP输出文本评估：使用BLEU需要承担哪些风险？

当把一些文本输入系统，得到的输出也为文本时，这类问题称为seq2seq或字符串转导（stringtransduction）问题。

AI科技大本营·2019-02-20 17:49

Neural Machine Translation by Jointly Learning to Align and Translate 的模型主要部分实现 TensorFlow

tdsourcetag=s_pctim_aiomsg中的seq2seqattention部分就是读懂了他的代码又自己写了一遍原理整个的神经网络翻译的结构是seq2seq，原句从encode部分进入，每一步都会输出一个状态

BeforeEasy·2019-02-17 20:46

计算机视觉中的注意力机制

在2014年，随着深度学习的进一步发展，seq2seq的训练模式和翻译模式已经开始进入人们的视

腾讯技术工程·2019-02-15 11:27

Seq2Seq模型应用案例之ScheduledEmbeddingTrainingHelper

Seq2Seq模型应用案例之ScheduledEmbeddingTrainingHelper：Tensorflow最新的Seq2Seq案例请参考官网：https://github.com/tensorflow

段智华·2019-02-14 21:14

Seq2Seq模型应用案例

Seq2Seq模型应用案例（：Seq2Seq是Encoder-Decoder（编码器与解码器）模型，输入是一个序列,输出也是一个序列，适用于输入序列与输出序列长度不等长的场景，如机器翻译、人机对话、聊天机器人等

段智华·2019-02-12 20:38

[实现] 利用 Seq2Seq 预测句子后续字词（Pytorch）

本文使用了Seq2Seq模型，输入为5个中文字词，输出为1个中文字词。

Code_Mart·2019-02-12 18:37

机器翻译Seq2Seq(Encoder-Decoder)+Attention模型Tensorflow实现

英法机器翻译Tensorflow代码实现1、Encoder-Decoder在网上大家能够找到很多关于，sequencetosequence模型。简单的来说它就是一个编码器和解码器，用循环神经网络RNN去实现。在编码端，用RNN对句子进行中间语义表示，得到c后，根据c的表示去进行解码。在机器翻译当中，就是将源端的语言，进行中间表示，然后再解码成目标端的语言。但是编码端，通常是将源语言编码成一个固定长

梯度下降·2019-02-12 11:50

NLP进阶之（一）Seq2Seq模型之Chatbot

NLP进阶之（一）Seq2Seq模型之Chatbot1.编码器—解码器（seq2seq）解释1.1编码器1.2解码器1.3模型训练1.4参考文献2.注意力机制（Attention）2.1注意力机制背景2.2

Merlin17Crystal33·2019-02-08 22:17

自然聊天机器人

采用seq2seq+Attention模型，经过大量的训练，根据输入生成相应的输出。seq2seq模型是一个翻译模型，主要是把一个序列翻译成另一个序列。它的基本思想是用两个RNNLM，组成R

linux_win·2019-02-06 17:10

PyTorch 1.0 中文官方教程：基于注意力机制的 seq2seq 神经网络翻译

译者：mengfu188作者:SeanRobertson在这个项目中，我们将教一个把把法语翻译成英语的神经网络。[KEY:>input,=target,ilestentraindepeindreuntableau.=heispaintingapicture.pourquoinepasessayercevindelicieux?=whynottrythatdeliciouswine?ellenest

ApacheCN_飞龙·2019-02-03 15:39

PyTorch 1.0 中文官方教程：混合前端的 seq2seq 模型部署

译者：cangyunye作者:MatthewInkawhich本教程将介绍如何是seq2seq模型转换为PyTorch可用的前端混合Torch脚本。

ApacheCN_飞龙·2019-02-03 15:42

seq2seq attention代码实现 / attention_decoder使用

fromtensorflow.contrib.legacy_seq2seq.python.opsimportseq2seqasseq2seq_liblstm_cell_fw=tf.nn.rnn_cell.LSTMCell

guotong1988·2019-01-31 12:20

NLP教程：教你如何自动生成对联

本项目使用网络上收集的对联数据集地址作为训练数据，运用Seq2Seq+注意力机制网络完成了根据上联对下联的任务。项目流

FlyAI·2019-01-31 00:00

关行tf的一些API

1.tf.tile()和tf.contrib.seq2seq.tile_batch()importtensorflowastf#将input的某一维度复制多少次,len(input.shape())等于

happyprince·2019-01-30 16:59

NLP--(八)深度学习制作聊天机器人+VQA+图灵机器人(三)

NLP资料PDF链接Seq2Seq:https://blog.csdn.net/gzmfxy/article/details/78691048******************************

黑洲非人lyf·2019-01-28 16:59

NLP进阶之（六）Word2Vec+FastText+Glove

NLP进阶之（六）Word2Vec+FastText+Glove1.WordEmbedding（seq2seq）1.1Word2Vec1.2Skip-gram和CBOW1.2.1基于层次Softmax的

Merlin17Crystal33·2019-01-25 01:04

NLP进阶之（四）于Tensorflow中使用Word Embedding

NLP进阶之（一）Seq2Seq模型之Chatbot1.文本预处理2.词向量维度设置3.不同情况下Embedding设置情况3.1Keras层3.2Tensorflow层3.3编写自定义模块3.4采用预训练的词嵌入模型

Merlin17Crystal33·2019-01-24 01:35

Transfomer

www.github.com/kyubyong/transformer重点解读：https://jalammar.github.io/illustrated-transformer/全连接层：重新拟合，减少特征信息的损失seq2seqhttp

rainbow_lucky0106·2019-01-22 23:00

tacotron2 介绍

pdf/1712.05884.pdf论文翻译https://my.oschina.net/stephenyng/blog/1620467一、模型框架a.一个引入注意力机制（attention）的基于循环seq2seq

TaoTaoFu·2019-01-21 16:42

[深度学习概念]·深度学习Transformer模型介绍

模型介绍转载地址目录深度学习Transformer模型介绍CNNRNN核心问题Transformer结构亮点self-AttentionMultiHeadAttentionpositionEncoding总结一下动机常见的seq2seq

小宋是呢·2019-01-18 22:36

【论文笔记】A Neural Representation of Sketch Drawings

谷歌的论文，基于seq2seq+VAE编码并生成手绘序列https://arxiv.org/pdf/1704.03477.pdf本文主要是论文的概述翻译，记录文章目录1.Introduction2.RelatedWork3

煎饼证·2019-01-15 16:12

理解seq2seq并基于语料自动生成文本

今天应上篇文章里面说的来写seq2seq和attention。但是这周琢磨了一下，现在写的这些东西只是在总结原理，好像除了回顾理论知识之外，并没其他技术上的提升。

chinwuforwork·2019-01-12 14:00

【TensorFlow实战笔记】对于TED(en-zh)数据集进行Seq2Seq模型实战，以及对应的Attention机制（tf保存模型读取模型）

一、前言其他实战笔记建议先看：《tensorflow实战笔记》通俗详述RNN理论,LSTM理论,以及LSTM对于PTB数据集进行实战其他选看《TensorFlow实战笔记》MINST数字识别问题-简单的神经网络实现《TensorFlow实战笔记》卷积神经网络CNN实战-cifar10数据集（tensorboard可视化）《TensorFlow实战笔记》迁移学习实战–卷积神经网络CNN-Incept

Che_Hongshu·2019-01-11 23:16

自然语言处理seq2seq模型实现人工智能对对联（基于TensorFlow框架）

目录seq2seq模型核心思想递归神经网络RNN解码和编码过程模型扩展模型应用领域搭建自己的模型春节贴春联是中国人庆祝春节（过年）的特有习俗。

不脱发的程序猿·2019-01-11 17:53

pytorch笔记：09)Attention机制

刚走一步竟掉到了另一个hole（fireinthehole*▽*）1.RNN中的attentionpytorch官方教程：https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html

PJ-Javis·2019-01-11 14:22

[交叉熵损失和accuracy关系] 验证集上val-loss先降低再增加，而val-accuracy一直在增加

在上一篇博文（[歌词生成]基于LSTM语言模型和seq2seq序列模型：数据爬取、模型思想、网络搭建、歌词生成）中，seq2seq训练之后，我们发现其在训练集合验证集上loss和accuracy变化如下

nana-li·2019-01-09 15:11

[歌词生成] 基于LSTM语言模型和seq2seq序列模型：数据爬取、模型思想、网络搭建、歌词生成

主要使用了基于概率语言模型的方法和基于seq2seq的方法进行生成。本文所有代码地址：Github一、数据爬取1、数据内容分析本次爬取的是网易云音乐网页版的数据，这里以罗大佑的主页举例，其他歌手类似。

nana-li·2019-01-09 11:34

transformer 模型（self-attention自注意力）

transformer模型在《Attentionisallyouneed》论文中提出这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了

Chihk-Anchor·2019-01-08 19:21

浅谈分词算法（5）基于字的分词方法（bi-LSTM）

前面几篇博文中我们已经阐述了不论分词、词性标注亦或NER，都可以抽象成一种序列标注模型，seq2seq，就是将一个序列映射到另一个序列，这在NLP领域是非常常见的

xlturing·2019-01-06 22:00

一波NLP算法实习生面经（12月中旬）

平安金融一账通：一面：（大概）1.LSTM的结构2.讲一下n-gram和词袋模型二面：1.将1234000翻译成0001234，或者讲一下seq2seq答：听过，但是没深入了解（我项目上只写了情感分析啊

Jaykie_·2018-12-29 20:17

推荐频道

seq2seq