seq2seq 第8页

将RNN嵌入到ENCODER–DECODER

阅读论文笔记：NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate一、进食前提这里要弄明白RNN，LSTM，BiRNN，Seq2Seq

丶Morghulis·2023-04-09 07:01

序列到序列学习（seq2seq）实现机器翻译英语翻译法语

9.7.序列到序列学习（seq2seq）—动手学深度学习2.0.0documentation自用笔记稍后补充注意力机制版本1.读取数据集,或者词典vocab,有英语和法语vocab作为train_iter

Rondox·2023-04-09 05:55

【机器学习杂记】Transformer

零前言Transformer考虑之前提到的seq2seq问题：输出长度未知。Seq2Seq的基本模型如下：下面逐块解释。先说模型的大体框架是什么，然后再说Transformer当中是怎么做的。

wjpwjpwjp0831·2023-04-07 18:22

Pytorch学习记录- 训练Attention机制的Seq2Seq（论文再读）

对Pytorch的Seq2Seq这6篇论文进行精读，第三篇，Bahdanau,D.,K.ChoandY.Bengio,NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate

我的昵称违规了·2023-04-07 06:10

似乎要出结果了

本来想今天把最后收尾了，再过一遍文字，结果还停电了，随意水一点吧…torch部分seq2seq模型还剩下两个教程没有学习，目前看起来似乎流程是跑通了，但是模型实现上还是不够，总是静不下来去仔细看，torchtext

我的昵称违规了·2023-04-06 07:34

Attention注意力机制介绍

本文主要介绍Attention机制在Seq2seq中的应用。为什么要用Attent

hiyoung·2023-04-06 03:05

attention阅读

引言自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的Seq2Seq模型指的都是结合RNN和Attention的模型。

努力学习MATLAB·2023-04-06 00:12

video caption之S2VT

论文：SequencetoSequence–VideotoTextGitHub：GitHub-AdrianHsu/S2VT-seq2seq-video-captioning-attention:S2VT

watersink·2023-04-05 22:02

Transformer 中-英运行和简单理解（二）

目录回顾seq2seq：RNN架构运行References回顾seq2seq：要输入额外的tokens和然后循环做点积然后依次对每个tokens做attention最后完成翻译RNNRNN是依次输入每个

啥也不是的py人·2023-04-05 06:10

Pytorch_Seq2Seq与Attention

目前这些最先进的技术都基于Transformer模型，该模型从RNN，LSTM，Seq2Seq，Attention，ConvS2S，Transformer一步步进化而来，还涉及自然语言处理的相关知识，包含的知识点太多

xieyan0811·2023-04-04 17:51

《动手学深度学习》第四天2020-02-15

第二次打卡内容（2月15日-17日）截止打卡时间：2/17-22:00Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天）Task04：机器翻译及相关技术；注意力机制与Seq2seq

_a30a·2023-04-04 14:54

动手学深度学习(十四) NLP注意力机制和Seq2seq模型

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（contextvector）来获取输⼊序列信息。

致Great·2023-04-04 10:53

How Do Seq2Seq Models Perform on End-to-End Data-to-Text Generation?

其中这篇的主要原因是论文名字十分有趣，从题目能够看出论文主要工作是对于seq2seq模型在端到端生成任务上进行了一个表现分析，并且采取了疑问句作为题目。二、论文内

Zzz_25·2023-04-03 21:56

NLP文本生成

seq2seq的模型原理https://blog.csdn.net/Irving_zhang/article/details/78889364在李纪为博士的毕业论文中提到，基于生成的闲聊机器人中，seq2seq

学无止境还得学·2023-04-02 09:35

Transformer在计算机视觉中的应用-VIT、TNT模型

上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。

老师我作业忘带了·2023-04-01 15:29

Pointer Network 生成文本摘要

指针网络PointerNetwork是一种Seq2Seq模型，但是其Decoder预测的结果是从Encoder的输入序列中得到的。

NLP与人工智能·2023-03-31 16:12

读懂「Attention is All You Need」

有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的ConvolutionalSequencetoSequenceLearning和Google的AttentionisAllYouNeed，它们都算是Seq2Seq

lzjhyhf·2023-03-31 10:47

论文笔记 | Tree-structured Decoding for Solving Math Word Problems

主要是在seq2seq架构上做了改进，用树结构的decoder来生成抽象语法树(也可简单理解为表达式树)。并且利用栈结构辅助，能够清楚的知道下一次要生成的token是什么，还有什么时候可以停止解码。

ttliu_kiwi·2023-03-30 19:10

机器翻译及相关技术注意力机制与Seq2seq模型 Transformer 2020-02-19

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。importsyssys.path.append('/home/kesci/input/d2l9528/')importcollectionsimportd2limportzipfilefro

allen成·2023-03-30 02:20

Attention Based Model

传统Seq2Seq模型的缺陷1）encoder最后一个hiddenstate，与句子末端词汇的关联较大，难以保留句子起始部分的信息。因此当句子过长时，模型性能下降很快。

_Megamind_·2023-03-29 18:24

YhX.·2023-03-29 05:13

吴恩达深度学习第五课第三周序列模型和注意力机制

文章目录基础模型概述选择最可能的句子集束搜索(beamsearch)改进集束搜索集束搜索的误差分析机器翻译评估(bleuscore)注意力模型直观理解语音识别CTC算法触发字检测(triggerworddetection)本文概要，seq2seq

得克特·2023-03-29 02:28

吴恩达深度学习第五章序列模型——第三周序列模型和注意力机制

序列模型和注意力机制Seq2Seq模型Seq2Seq（Sequence-to-Sequence）模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题。

倚剑笑紅尘·2023-03-29 01:36

Semi-supervised Multi-modal Emotion Recognition with Cross-Modal Distribution Matching 阅读笔记

BERT-large1024维DenseNet342OPENsmile1582z-normalization（怀疑就是这个导致准备率不高，测试一下）DAE部分对于视觉和文字，因为是一个关于时间的序列特征，所以使用Seq2Seq

B站：阿里武·2023-03-29 01:03

Transformer Tutorials 最全入门详细解释（一）

目录.0背景0.1RNN0.2seq2seq(别名Encoder-Decoder)0.3Attention（注意力机制）.1Transformer1.1什么是Transformer1.2Encoder-Decoder1.3self-attention1.4Multi-Headattention1.5output

啥也不是的py人·2023-03-28 07:47

Convolutional Sequence to Sequence Learning

cnn-seq2seq传统的embedding，将词向量空间映射到d维编码器+解码器--多层cnn，卷积核的大小k，参数规模为kd*2d，其中kd为每一次卷积的输入矩阵大小（kd），2d为输出矩阵大小（

小绿叶mj·2023-03-27 07:05

大概率（5重方法）解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB

后仍未解决法一：调小batch_size法二：定时清内存法三（常用方法）：设置测试&验证不计算参数梯度法四（使用的别人的代码时）：将"pin_memory":True改为False项目场景跑bert-seq2seq

是Yu欸·2023-03-26 07:15

【NLP之transformer | Datawhale-9月】Task02：学习Attention和Transformer

潜在的答案：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行Attention有助于提升RNN的模型效果。

alicedog·2023-03-25 07:09

Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

机器翻译机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。importsyssys.path.append('/home/kesci/input/d2l9528/')importcollectionsimportd2limportzipfilefromd2l

Crystality·2023-03-23 08:08

【转】自然语言处理，自动标题生成

玩转Keras之seq2seq自动生成标题https://www.tuicool.com/articles/uUNNnqE

小小小小小台·2023-03-19 01:46

车万翔：ChatGPT时代，NLPer 的危与机

更加危急的是，任务、甚至研究领域之间的壁垒被打破了，所有的问题都可以转化为一个「Seq2Seq」问题，计算机视觉等领域的研究者也会逐渐涌入该领域。与搜索

zenRRan·2023-03-16 18:51

【自然语言处理】BERT 讲解

在阅读本篇之前建议先学习：【自然语言处理】Seq2Seq讲解【自然语言处理】Attention讲解【自然语言处理】ELMo讲解【自然语言处理】Transformer讲解BERT1.简介ELMo模型可以根据上下文更新词的特征表示

不牌不改·2023-03-16 07:04

02-seq2seq原理与实践

目录原理部分机器翻译发展历史Seq2Seq网络基本架构Seq2Seq网络应用Seq2Seq存在的问题Attention机制实践部分任务1：数据预处理编码层与词向量完成解码模块模型迭代任务2：数据预处理使用构建好的词向量完成解码操作任务总结在进行学习

HsuanvaneCHINA·2023-03-15 18:20

大白话解释Transformer

大白话解释TransformerTransformer与‘seq2seq+attention’首先理解*self-attention*multi-head&position-encoding引入Transformer

不爱讲笑话的王先生·2023-03-14 07:22

STEP-5：Pytorch-机器翻译Seq2Seq

SequencetoSequence模型:Encoder-Decoder结构训练预测具体结构：ImageNameEncoder-Pytorch实现importtorchimporttorch.nnasnnclassSeq2SeqEncoder

可恶小林子·2023-03-11 12:45

（八）sequence to sequence —2

实现softmax_loss_function部分基于tensorflow1.4Seq2seq的实现importhelpersimporttensorflowastffromtensorflow.contribimportseq2seq

天生smile·2023-03-11 06:58

NLP-Attention

在seq2seq模型中,原始编码模型的encode过程中会生成一个中间向量C用于保存原序列的语义信息.但是这个向量长度时固定的,当输入原序列的长度比较长时,向量C无法保存全部语义信息,上下文语义信息受到了限制

Jessie_83bf·2023-03-10 23:00

【NLP相关】Transformer模型：从Seq2Seq到自注意力机制（Transformer原理、公式推导和案例）

Chaos_Wang_·2023-03-09 12:05

Seq2Seq端到端神经网络介绍

Seq2Seq端到端神经网络介绍提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Seq2Seq端到端神经网络介绍前言一、Seq2Seq原理介绍二、Seq2Seq代码实战获取encoder

陈敬雷-充电了么-CEO兼CTO·2023-03-09 07:21

序列到序列学习seq2seq

这里将使用两个循环神经网络的编码器和解码器，并将其应用于序列到序列（sequencetosequence，seq2seq）类的学习任务。

tantantan12321·2023-03-09 07:17

MXNet的机器翻译实践《编码器-解码器(seq2seq)和注意力机制》

机器翻译就是将一种语言翻译成另外一种语言，输入和输出的长度都是不定长的，所以这里会主要介绍两种应用，编码器-解码器以及注意力机制。编码器是用来分析输入序列，解码器用来生成输出序列。其中在训练时，我们会使用一些特殊符号来表示，表示序列开始(beginningofsequence)，表示序列的终止(endofsequence)，表示未知符，以及用于补充句子长度的填充符号。编码器的作用是将一个不定长的输

寅恪光潜·2023-03-09 07:33

注意力机制（一）

上一节，我们介绍了Seq2Seq模型，它的生成序列来自同一个语义编码器C：因此，在句子比较短时，该模型性能还可以，对于稍长一些的句子，模型的性能就不尽人意了。为此，注意力机制模型应运而生。

整得咔咔响·2023-02-25 07:32

【EMNLP2021&&含源码】「自然语言处理(NLP)」端到端(seq2seq)关系提取--罗马大学

来源:AINLPer微信公众号（每日论文干货分享！！）编辑:ShuYini校稿:ShuYini时间:2021-11-16论文信息：REBEL:RelationExtractionByEnd-to-endLanguagegeneration源码地址：https://github.com/Babelscape/rebel今天给大家分享一篇关于关系抽取的文章，关系抽取是自然语言处理中信息抽取（EI）的重

AINLPer·2023-02-22 07:53

一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq

Encoder-Decoder和Seq2SeqEncoder-Decoder是NLP领域里的一种模型框架。它被广泛用于机器翻译、语音识别等任务。

weixin_43612023·2023-02-22 07:52

谷歌开源文本生成新方法 LaserTagger，直击 seq2seq 效率低、推理慢、控制差三大缺陷！

目前，在序列到序列（seq2seq）的自然语言生成任务中，主流预训练模型仍然面临一些重大缺陷，例如：生成输出与输入文本之间长度匹配问题、需要大量训练数据才能实现较高性能、推断速度慢等。

喜欢打酱油的老鸟·2023-02-22 07:51

注意力机制Attention Mechanism：从Seq2Seq到BERT

目录前言注意力机制的发展LSTM和GRULSTM和LSTMcellBiLSTMGRU(待更新)Seq2seq机器翻译的例子encoderdecoderSeq2seq+AttentionAttention

November丶Chopin·2023-02-22 07:21

基于双向LSTM和迁移学习的seq2seq核心实体识别

http://spaces.ac.cn/archives/3942/暑假期间做了一下百度和西安交大联合举办的核心实体识别竞赛，最终的结果还不错，遂记录一下。模型的效果不是最好的，但是胜在“端到端”，迁移性强，估计对大家会有一定的参考价值。比赛的主题是“核心实体识别”，其实有两个任务：核心识别+实体识别。这两个任务虽然有关联，但在传统自然语言处理程序中，一般是将它们分开处理的，而这次需要将两个任务联

weixin_34040079·2023-02-22 07:21

长文详解Attention、Seq2Seq与交互式匹配

点击上方，选择星标或置顶，每天给你送干货！阅读大概需要19分钟跟随小博主，每天进步一丢丢作者：谢铁公司：苏宁金融研究方向：智能问答知乎链接：https://zhuanlan.zhihu.com/p/146760904一、Attention的介绍其实关于注意力机制（Attention）的概念，网上已经有一大把的介绍，这里就不针针对其概念做过多介绍。一句话说就是聚焦关键的地方，忽略不重要的地方。放在n

zenRRan·2023-02-22 07:15

注意力机制（Attention）：Seq2Seq模型的改进

1.前言本文讲解Seq2Seq模型改进方法：注意力机制（Attention）。

DeepGeGe·2023-02-22 07:14

自注意力机制（Self-Attention）：从Seq2Seq模型到一般RNN模型

本人全部文章请参见：博客文章导航目录本文归属于：自然语言处理系列本系列实践代码请参见：我的GitHub前文：注意力机制（Attention）：Seq2Seq模型的改进后文：Attentionisallyouneed