Seq2Seq

Seq2Seq 模型详解

当遇到输入和输出都是不定长的序列时，可以使用编码器-解码器（encoder-decoder）模型或者seq2seq模型。其基本思想是编码器用来分析输入序列，解码器用来生成输出序列。
angushuang17·2023-06-07 23:57

深度学习笔记之Seq2Seq(一)基本介绍

深度学习笔记之Seq2seq——基本介绍引言回顾：经典循环神经网络结构关于循环神经网络的更多引用Seq2seq\text{Seq2seq}Seq2seq网络结构Seq2seq\text{Seq2seq}
静静的喝酒·2023-06-07 23:23

【自然语言处理】GPT 系列讲解

在阅读本篇之前建议先学习：【自然语言处理】Seq2Seq讲解【自然语言处理】Attention讲解【自然语言处理】ELMo讲解【自然语言处理】Transformer讲解GPT系列：GPT、GPT-2、GPT
不牌不改·2023-04-21 10:57

Transformer 到 BERT：文章收集

Transformer：NLP三大特征抽取器（CNN/RNN/TF）比较图解transformer（就是看这篇看懂的transformer）多头注意力中文篇（通过这篇看懂了positionembedding）图解seq2seq
大王叫我来巡老和山·2023-04-20 21:33

神经网络/深度学习（二）

Seq2Seq模型Encoder-DecoderAttention机制Self-Attention自注意力机制Transformer摘文不一定和目录相关，但是取自该链接1.Seq2Seq模型详解https
Maann·2023-04-20 01:31

d2l解码编码器与seq2seq

seq2seq难死了，卡了好久，好不容易有些头绪了。。。
我想吃鱼了，·2023-04-19 05:48

<>速读笔记

背景在seq2seq中，一般是有一个encoder一个decoder，一般是rnn/cnn但是rnn计算缓慢，所以提出了纯用注意力机制来实现编码解码。
anqiu4023·2023-04-18 14:28

Seq2Seq Attention -- 循环神经网络

1、Seq2SeqAttention出现解决的问题上文中写到了Seq2Seq对应定长编码是信息瓶颈、前边的信息容易被稀释，基于此能再优化吗？能，Seq2Seq+Attention。
元宝的技术日常·2023-04-18 06:29

使用RNN encoder-decoder学习短语表示用于机器翻译

2.1Introduction一个通用的seq2seq模型是：image.png上一个项目使用的是两层LSTM组成的seq2seq模型：image.png这个模型的缺点是，我们的解码器隐藏状态信息太多，
Anathema_b5dc·2023-04-17 18:23

论文笔记:Word Attention for Sequence to Sequence Text Understanding

WordAttentionforSequencetoSequenceTextUnderstanding代码：ლ(′◉❥◉｀ლ)木有论文来源：AAAI2018作者信息.png一句话总结:1.Background1.1.基于seq2seq
是neinei啊·2023-04-17 14:05

【AI绘图学习笔记】transformer

台大李宏毅21年机器学习课程self-attention和transformer文章目录Seq2seq实现原理EncoderDecoderAutoregressive自回归解码器Non-Autoregressive
milu_ELK·2023-04-17 13:58

第八章 Attention

目录8.1Attention的结构8.1.1seq2seq存在的问题8.1.2编码器的改进8.1.3解码器的改进①8.1.4解码器的改进②8.1.5解码器的改进③8.2带Attention的seq2seq
路哞哞·2023-04-17 12:46

第七章 基于 RNN 的生成文本

目录7.1使用语言模型生成文本7.1.1使用RNN生成文本的步骤7.1.2文本生成的实现7.1.3更好的文本生成7.2seq2seq模型7.2.1seq2seq的原理7.2.2时序数据转换的简单尝试7.2.3
路哞哞·2023-04-15 21:31

从seq2seq到注意力机制

seq2seq模型seq2seq模型诞生于语言模型的相关任务中，最初是用来处理翻译问题的，解决了将任意长度的输入序列转变为对应的输出序列的问题，普通的全连接网络结构没法接受一个可变长度的输入，也没法产生一个变长的输出
神的第57个名字·2023-04-15 17:21

PyTorch 进行多步时间序列预测详细教程

多步时间序列预测也可以视为seq2seq任务，可以使用编码器-解码器模型。本文提供了一个Encoder-decoder模型来解决Kaggle的时间序列预测任务以及获得前10%结果所涉及的步骤。
倾城一少·2023-04-15 13:49

百面机器学习--Hulu

以下内容为转发Hulu公众号的链接，更全内容可查看书籍0序1模型评估2SVM模型3优化简介4采样5余弦距离6PCA算法7非监督学习算法与评估8强化学习（一），强化学习（二）9循环神经网络10LSTM11Seq2Seq12
ouchaochao·2023-04-15 11:44

采用Attention机制包装的Seq2Seq模型构建英译中翻译器

tensorflow1.10.0Intel@AIDevCloud：IntelXeonGold6128processors集群思路根据已经给出的中文和英文词汇表以及中文和英文的训练材料，将每句话看作一个时间序列，采用Seq2Seq
YinliX·2023-04-15 05:31

序-Deep Learning 在NLP领域的发展

三个阶段WordEmbeddingWord2Vec(2013)Glove(2014)RNN改进和拓展LSTM(1997)/GRU(2014)GRU：它把遗忘门和输入门合并成一个更新门Seq2Seq(2014
HsuanvaneCHINA·2023-04-14 18:16

Transformer

transformer.jpg和大多数的seq2seq模型一样，其结构也是由encoder和decoder组成的。encoder
612twilight·2023-04-14 18:34

seq2seq和attention原理详解

1、Seq2seqSeq2seq由两个RNN/LSTM构成，其中encoderRNN产生原始sentence的encoding，decoderRNN将在encoding基础上产生目标sentence。
不会打碟的dj啊·2023-04-14 05:52

Task04: 动手学深度学习——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

（学习笔记，待补充）本文目录如下：1.机器翻译1.1机器翻译的概念2.注意力机制与Seq2seq模型3.Transformer1.机器翻译1.1机器翻译的概念顾名思义，机器翻译即将一段文本从一种语言自动翻译成另一种语言
且不了了·2023-04-13 22:31

深入浅出Transformer

Transformer之前，大家的思路都是在改进序列模型，从RNN到LSTM、GRU、Seq2Seq。如果你看过我之前写的深
A君来了·2023-04-13 21:47

注意力机制与Seq2Seq模型

1.注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（contextvector）来获取输⼊序列信息。
英文名字叫dawntown·2023-04-13 04:37

深度学习NLP领域文本生成总结

神经网络与深度学习二、神经网络的过拟合与正则化三、深度学习的优化算法四、卷积神经网络五、循环神经网络从第五章开始重点就将在NLP领域了六、长短期记忆网络七、自然语言处理与词向量八、word2vec词向量九、seq2seq
欢桑·2023-04-13 02:16

类ChatGPT代码级解读：如何从零起步实现transformer、llama/ChatGLM

这里有200来个，包括且不限于基于decode的GPT、基于encode的BERT、基于encode-decode的T5等等)通过博客内的这篇文章《Transformer通俗笔记：从Word2Vec、Seq2Seq
v_JULY_v·2023-04-12 20:51

Raki的读paper小记：Unified Named Entity Recognition as Word-Word Relation Classification

Abstract&Introduction&RelatedWork研究任务NER同一建模模型（flat，nested，discontinuous）已有方法和相关工作序列标注基于超图的方法seq2seq方法基于
爱睡觉的Raki·2023-04-11 10:27

NLP基础之sequence2sequence

Seq2Seq模由encoder和decoder两个部分来构成，假设模型的训练样本为(X,Y)(X,Y)(X,Y)，encoder负责把输入XXX映射到隐向量ZZZ，再由decoder把ZZZ映射到输出
HAH-M·2023-04-11 09:52

keras 生成句子向量 词向量_GitHub - bulong/nlp_xiaojiang: XLNET句向量-相似度（text xlnet embedding），自然语言处理（nlp），闲聊机器人...

nlp_xiaojiangAugmentText-回译(效果比较好)-EDA(同义词替换、插入、交换和删除)(效果还行)-HMM-marko(质量较差)-syntax(依存句法、句法、语法书)(简单句还可)-seq2seq
weixin_39604280·2023-04-10 06:12

使用simBert生成同义语句(全过程)

SimBERT属于有监督训练，训练语料是自行收集到的相似句对，通过一句来预测另一句的相似句生成任务来构建Seq2Seq部分，然后前面也提到过[CLS]的向量事实上就代
thirsd·2023-04-10 05:12

Transformer 笔记目录

相关知识：深度学习基础（神经网络，回归，分类，优化，激活函数等），具体介绍序列到序列模型，RNN，Seq2Seq，LSTM等。
onlyfansnft.art·2023-04-09 15:19

将RNN嵌入到ENCODER–DECODER

阅读论文笔记：NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate一、进食前提这里要弄明白RNN，LSTM，BiRNN，Seq2Seq
丶Morghulis·2023-04-09 07:01

序列到序列学习（seq2seq） 实现机器翻译 英语翻译法语

9.7.序列到序列学习（seq2seq）—动手学深度学习2.0.0documentation自用笔记稍后补充注意力机制版本1.读取数据集,或者词典vocab,有英语和法语vocab作为train_iter
Rondox·2023-04-09 05:55

【机器学习杂记】Transformer

零前言Transformer考虑之前提到的seq2seq问题：输出长度未知。Seq2Seq的基本模型如下：下面逐块解释。先说模型的大体框架是什么，然后再说Transformer当中是怎么做的。
wjpwjpwjp0831·2023-04-07 18:22

Pytorch学习记录- 训练Attention机制的Seq2Seq（论文再读）

对Pytorch的Seq2Seq这6篇论文进行精读，第三篇，Bahdanau,D.,K.ChoandY.Bengio,NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate
我的昵称违规了·2023-04-07 06:10

似乎要出结果了

本来想今天把最后收尾了，再过一遍文字，结果还停电了，随意水一点吧…torch部分seq2seq模型还剩下两个教程没有学习，目前看起来似乎流程是跑通了，但是模型实现上还是不够，总是静不下来去仔细看，torchtext
我的昵称违规了·2023-04-06 07:34

Attention注意力机制介绍

本文主要介绍Attention机制在Seq2seq中的应用。为什么要用Attent
hiyoung·2023-04-06 03:05

attention阅读

引言自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的Seq2Seq模型指的都是结合RNN和Attention的模型。
努力学习MATLAB·2023-04-06 00:12

video caption之S2VT

论文：SequencetoSequence–VideotoTextGitHub：GitHub-AdrianHsu/S2VT-seq2seq-video-captioning-attention:S2VT
watersink·2023-04-05 22:02

Transformer 中-英运行和简单理解（二）

目录回顾seq2seq：RNN架构运行References回顾seq2seq：要输入额外的tokens和然后循环做点积然后依次对每个tokens做attention最后完成翻译RNNRNN是依次输入每个
啥也不是的py人·2023-04-05 06:10

Pytorch_Seq2Seq与Attention

目前这些最先进的技术都基于Transformer模型，该模型从RNN，LSTM，Seq2Seq，Attention，ConvS2S，Transformer一步步进化而来，还涉及自然语言处理的相关知识，包含的知识点太多
xieyan0811·2023-04-04 17:51

《动手学深度学习》第四天2020-02-15

第二次打卡内容（2月15日-17日）截止打卡时间：2/17-22:00Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天）Task04：机器翻译及相关技术；注意力机制与Seq2seq
_a30a·2023-04-04 14:54

动手学深度学习(十四) NLP注意力机制和Seq2seq模型

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（contextvector）来获取输⼊序列信息。
致Great·2023-04-04 10:53

How Do Seq2Seq Models Perform on End-to-End Data-to-Text Generation?

其中这篇的主要原因是论文名字十分有趣，从题目能够看出论文主要工作是对于seq2seq模型在端到端生成任务上进行了一个表现分析，并且采取了疑问句作为题目。二、论文内
Zzz_25·2023-04-03 21:56

NLP文本生成

seq2seq的模型原理https://blog.csdn.net/Irving_zhang/article/details/78889364在李纪为博士的毕业论文中提到，基于生成的闲聊机器人中，seq2seq
学无止境还得学·2023-04-02 09:35

Transformer在计算机视觉中的应用-VIT、TNT模型

上期介绍了Transformer的结构、特点和作用等方面的知识，回头看下来这一模型并不难，依旧是传统机器翻译模型中常见的seq2seq网络，里面加入了注意力机制，QKV矩阵的运算使得计算并行。
老师我作业忘带了·2023-04-01 15:29

Pointer Network 生成文本摘要

指针网络PointerNetwork是一种Seq2Seq模型，但是其Decoder预测的结果是从Encoder的输入序列中得到的。
NLP与人工智能·2023-03-31 16:12

读懂「Attention is All You Need」

有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的ConvolutionalSequencetoSequenceLearning和Google的AttentionisAllYouNeed，它们都算是Seq2Seq
lzjhyhf·2023-03-31 10:47

论文笔记 | Tree-structured Decoding for Solving Math Word Problems

主要是在seq2seq架构上做了改进，用树结构的decoder来生成抽象语法树(也可简单理解为表达式树)。并且利用栈结构辅助，能够清楚的知道下一次要生成的token是什么，还有什么时候可以停止解码。
ttliu_kiwi·2023-03-30 19:10

机器翻译及相关技术 注意力机制与Seq2seq模型 Transformer 2020-02-19

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。importsyssys.path.append('/home/kesci/input/d2l9528/')importcollectionsimportd2limportzipfilefro
allen成·2023-03-30 02:20

Attention Based Model

传统Seq2Seq模型的缺陷1）encoder最后一个hiddenstate，与句子末端词汇的关联较大，难以保留句子起始部分的信息。因此当句子过长时，模型性能下降很快。
_Megamind_·2023-03-29 18:24
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他