Seq2Seq

Transformer——seq2seq的模型

内容来源于李宏毅2021/2022春机器学习课程p49-50seq2seq一般由Encoder和Decoder组成在Encoder进行输入，在Decoder输出结果Encoder(给一排向量，输出一排向量
bolite·2023-11-28 01:08

序列模型懒人简介（RNN、Seq2Seq、LSTM、GRU、Transformer）

Seq2Seq结构，采取了两个RNN结构，一个作为解码器encoder，一个作为编码器decoder。解码器将序列数据转化为
Rulcy·2023-11-27 20:49

NLP | Seq2Seq，Encoder-Decoder图文详解及代码

在本文中，概述序列到序列模型，这些模型在机器翻译，视频字幕，图像字幕，问答等不同任务中使用。1.SequencetoSequence序列到序列1.1.序列建模问题序列建模问题是指输入和/或输出是一系列数据（单词，字母...等）考虑一个非常简单的问题，即预测电影评论是正面的还是负面的。在这里，我们的输入是一个单词序列，输出是0到1之间的单个数字。如果我们使用传统的DNN，那么我们通常必须使用BOW、
夏天｜여름이다·2023-11-27 20:49

音视频序列数据分析（RNN-＞seq2seq-＞Encoder+Decoder-＞Attention-＞Transformer）

2.Seq2Seq(即Encoder+Decoder结构)seq2seq，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LS
Janie.Wei·2023-11-27 20:48

[转] 图解Seq2Seq模型、RNN结构、Encoder-Decoder模型 到 Attention

from:https://caicai.science/2018/10/06/attention%E6%80%BB%E8%A7%88/一、Seq2Seq模型1.简介Sequence-to-sequence
weixin_34101784·2023-11-27 20:18

详解从 Seq2Seq模型、RNN结构、Encoder-Decoder模型 到 Attention模型

from:https://caicai.science/2018/10/06/attention%E6%80%BB%E8%A7%88/一、Seq2Seq模型1.简介Sequence-to-sequence
qq_38573437·2023-11-27 19:47

Encoder-Decoder模型

这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。
我是一只的猪·2023-11-27 19:17

【RNN】剖析RNN 之 从RNN-(Simple|LSTM) 到 序列生成 再到 seq2seq框架（encoder-decoder，或称为seq2seq）

前言最近在搞一个多标签分类的项目，发现多标签分类问题中的多标签难点可以转化为序列生成问题（如下图，引自论文《EnsembleApplicationofConvolutionalandRecurrentNeuralNetworksforMulti-labelTextCategorization》[1]），论文中思想讲的很透彻，图也一目了然，但是RNN的具体实现上还是要自己搞清楚，因此这个思考过程整个
Tobi_Obito·2023-11-27 19:47

RNN/LSTM/GRU/seq2seq公式推导

概括：RNN适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM和GRU采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM和GRU被广泛地应用到语音识别、语音合成和自然语言处理等。1.RNNRNN会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。因此，如果你正在尝试处理一段文本进行预测，RNN可能从一开始就会遗漏重要信息。
dili8870·2023-11-27 19:47

RNN（包括GRU和LSTM）和其他seq2seq/encoder-decoder模型

接着，本文将转向序列到序列（seq2seq）模型的讨论。Seq2se
诸神缄默不语·2023-11-27 19:46

百面深度学习-自然语言处理

以下是主要的结构变化及其解决的问题：序列到序列（Seq2Seq）模型：结构：基于循环神经网络（RNN）
jieHeEternity·2023-11-27 14:44

时间序列深度学习：seq2seq 模型预测太阳黑子

作者：徐瑞龙，量化分析师，R语言中文社区专栏作者博客专栏：https://www.cnblogs.com/xuruilong100本文翻译自《TimeSeriesDeepLearning,Part2:PredictingSunspotFrequencyWithKerasLstminR》，略有删减。深度学习于商业的用途之一是提高时间序列预测的准确性。之前的教程显示了如何利用自相关性预测未来10年的月
R语言中文社区·2023-11-27 12:06

【注意力机制】学习

文章目录前言一、Encoder-Decoder（一）作用（二）实现框架Encoder：Decoder（三）基于seq2seq模型的编码与解码方法1弊端：方法2以上两种方式的弊端二、AttentionModel
SDsqx6·2023-11-27 11:09

【动手学深度学习v2】注意力机制—4 Transformer

Maskedmulti-headattention基于位置的前馈网络PositionwiseFFN残差+层归一化Add&Norm信息传递预测总结参考系列文章模型基于编码器-解码器架构处理序列对；跟使用注意力的seq2seq
Hannah2425·2023-11-26 09:20

通俗理解词向量模型，预训练模型，Transfomer，Bert和GPT的发展脉络和如何实践

Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT_v_JULY_v的博客-CSDN博客有了原理还需要进行代码实践，这篇文章从0开始讲解了一个简易的Transformer
changdejie·2023-11-25 10:10

序列模型和注意力机制

序列模型和注意力机制seq2seq（sequencetosequence）模型集束搜索（Beamsearch）注意力模型（AttentionModel）seq2seqimage.png首先建立encodernetwork
dreampai·2023-11-24 13:10

Deep Reinforcement Learning For Sequence to Sequence Models

这篇论文是一篇综述性质的文章吧，研究了现有的Seq2Seq模型的应用和不足，以及如何通过不同的强化学习方法解决不足，写的深入具体，mark一下。本文的顺序是对文章的一个总结，并不是文章真实的组织顺序。
文哥的学习日记·2023-11-24 12:21

【nlp】2.7 seq2seq英译法实战项目解析

seq2seq英译法实战项目1seq2seq介绍1.1seq2seq模型架构2数据集介绍3案例步骤3.1导入工具包和工具函数3.2数据预处理3.2.1清洗文本和构建文本字典3.2.2构建数据源对象3.2.3
lys_828·2023-11-23 19:45

Transformer解释

和seq2seq模型一样，transformer也是encoder和decoder组成。Transformer的时间复杂度为O(LN^2H)，L为模型层数，H是注意力个数，N表示输入序列长度。
Mark_Aussie·2023-11-21 06:56

深入解析序列模型：全面阐释 RNN、LSTM 与 Seq2Seq 的秘密

探索序列建模的基础知识和应用。简介序列建模是许多领域的一个重要问题，包括自然语言处理(NLP)、语音识别和语音合成、时间序列预测、音乐生成和「生物信息学」。所有这些任务的共同点是它们需要坚持。接下来的事情的预测是基于历史的。例如，在“哈桑以前踢足球，而且他踢得非常好”的序列中。只有将“哈桑”的信息推进到该特定点，才能对“他”进行预测。因此，您需要某种历史记录块来存储以前的信息并将其用于进一步的预测
冷冻工厂·2023-11-21 05:42

竞赛 题目：基于深度学习的中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
iuerfee·2023-11-19 10:05

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)

(二)文章目录GPT实战系列-1.训练参数配置传递2.训练前准备3.训练参数配置4.训练对象，seq2seq训练5.执行训练6.训练模型评估依赖数据集的预处理P-Tuningv2将ChatGLM2-6B
Alex_StarSky·2023-11-19 08:04

Attention is all you need（Transformer）论文阅读笔记

一、背景seq2seq模型（2014年）：https://blog.csdn.net/zyk9916/article/details/118002934Attention模型（2015年）：https:
zyk9916·2023-11-16 19:17

44 深度学习（八）：GPU|seq2seq

并行计算原理分布式策略MirroredStrategyCentralStorageStrategyMultiWorkerMirroredStrategyTPUStrategyParameterServerStrategyseq2seq
Micoreal·2023-11-15 09:44

45 深度学习(九)：transformer

自定义encoderblockDeconderblockEncoderDecodertransformer自定义loss和学习率mask生成函数训练翻译transformer这边讲一下这几年如日中天的新的seq2seq
Micoreal·2023-11-15 09:44

机器翻译学习1：pytorch官方教程与代码逐行详解

官方教程网址：https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html代码所需数据源：https://download.pytorch.org
呆萌的代Ma·2023-11-15 00:21

竞赛选题 深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
laafeer·2023-11-14 17:24

Transformer模型详解

Transformer上一节中我们详细介绍了Seq2Seq模型和Attention机制的应用，首先来看即便是带有Attention机制的Seq2Seq模型仍存在的问题。
lzk_nus·2023-11-14 16:51

完全小白的pycharm深度学习调试+for循环断点条件设置

pycharm断点调试控制台输入代码中循环的debug方法pycharm中图标的介绍常见的BugDebug经验1.检查激活函数的输入值2.检查梯度3.消融实验4.使用最短的时间5.静下心来写在最前面之前把seq2seq
是Yu欸·2023-11-13 14:21

seq2seq（tf2.0版本）

importtensorflowastf'''LSTM中，每一个细胞单元的state=(c_state,hidden_state)，output就是最后一个词语细胞的state中的hidden_state'''embedding_units=256units=1024input_vocab_size=len(input_tokenizer.word_index)+1output_vocab_siz
nio006·2023-11-13 06:59

大模型是基于Transformer的基础架构，那Transformer的编码和解码，不是大模型必须具备的吗？为什么说bert是用的编码器，chatgpt用的解码器？

Transformers的基本架构包括编码器（Encoder）和解码器（Decoder），这两个组件通常在序列到序列（Seq2Seq）任务中一起使用，如机器翻译。
chunmiao3032·2023-11-13 03:18

【长文详解】指针生成网络：不抄不是好学生！

‍‍‍‍‍‍‍‍一：今日吐槽Seq2Seq横空出世，给文本生成式摘要带来了很大的想象空间。某天，Seq2Seq和TextRank在陆家嘴软件园不期而遇。Seq2Seq顾盼自雄：天不生夫子，万古如长夜。
zenRRan·2023-11-12 23:06

RetroMAE论文阅读

1.Introduction在NLP常用的预训练模型通常是由token级别的任务进行训练的，如MLM和Seq2Seq，但是密集检索任务更倾向于句子级别的表示，需要捕捉句子的信息和之间的关系，一般主流的策略是自对比学习
comli_cn·2023-11-12 19:10

深度学习经典和最新模型

1.深度学习基础-线性神经网络，多层感知器2.卷积神经网络-lenet，alexnet，vgg，inception，resnet3.循环神经网络-RNN，GRU，LSTM,seq2seq4.注意力机制-
钟逸0822·2023-11-12 06:17

循环神经网络、注意力机制、Seq2Seq、Transformer与卷积神经网络（打卡2）

一、过拟合和欠拟合接下来，我们将探究模型训练中经常出现的两类典型问题：一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。正
机器小白猫·2023-11-11 10:12

进阶课6——基于Seq2Seq的开放域生成型聊天机器人的设计和开发流程

其中，以Seq2Seq模型为基础的闲聊机器人已经在机器翻译领域取得了成功的应用。Seq2Seq模型是NLP中的一个
AI 智能服务·2023-11-11 10:51

PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记

相关工作3.1ReferringImageSegmentation(RIS)3.2ReferringExpressionComprehension(REC)3.3Sequence-to-Sequence(seq2seq
乄洛尘·2023-11-09 23:51

BERT课程

目录课程视频和slides背景知识深度学习基础知识WordEmbedding语言模型RNN/LSTM/GRU、Seq2Seq和Attention机制Tensorflow基础知识PyTorch基础知识BERT
baidu_huihui·2023-11-09 14:35

机器学习(五) 自监督学习

（AT）Non-autoregressive（NAT）Encoder和Decoder之间的桥梁训练（二）结语（一）TransformerTransformer是Sequence-toSequence（Seq2Seq
八岁爱玩耍·2023-11-06 15:47

机器学习笔记5-2：Transformer

*注:本博客参考李宏毅老师2020年机器学习课程.视频链接目录1Seq2seq2Encoder3Decoder3.1AT汉字的产生如何输出不定长向量避免一步错，步步错3.2NAT3.3Training3.4Tips3.4.1CopyMechanism
Acetering·2023-11-06 15:44

李宏毅机器学习课程视频笔记5：Transformer

文章目录Seq2seq模型的应用Transformer模型介绍EncoderDecoderAutoregressiveDecoderNon-AutoregressiveDecoder怎么训练Transformer
自律版光追·2023-11-06 15:12

【机器学习】概念复习 early stop

（阿里）Seq2Seq模型介绍一下Lstm为什么能解决梯度消失问题？lstm里面的状态更新是怎样的，各个门是怎样的？数据之间如果不是独立同分布的会怎样？
sdbhewfoqi·2023-11-06 09:31

（八）sequence to sequence —5

实现多层双向的dynamic_lstm+beam_search基于tensorflow1.4Seq2seq的实现encoder使用的两层双向的LSTM，注意multi_RNN与bi_dynamic_lstm
天生smile·2023-11-05 21:46

手把手教你使用pytorch实现双向LSTM机器翻译

1.1下载数据集并处理1.2将数据集分为source和target1.3定义词汇类1.4获取训练集2.定义模型2.1导入相关工具包2.2.定义Encoder模型2.3.定义Decoder模型2.4.定义seq2seq
codefly-xtl·2023-11-05 17:30

PyTorch实现基于LSTM的多变量输入多变量输出的Seq2Seq预测（进阶版）

我在几个月前接触深度学习，学习LSTM，后来写了一篇文章《基于pytorch的LSTM预测实现（入门级别）https://blog.csdn.net/m0_68676807/article/details/131033853》。距离现在已经过去了好几个月，作为一个已经入门的学习者来说，我觉得有必要去说明几点。1.对于现在市面上的这种滑动窗口的代码，这种真的只适合入门级别，写写水刊论文。没法实现需要
我来了999·2023-11-05 17:59

从 Seq2Seq 到 Attention：彻底改变序列建模

由于上下文压缩、短期记忆限制和偏差，具有2个RNN的Seq2Seq模型失败了。该模型的BLEU分数随着序列长度的增加而不断降低。
冷冻工厂·2023-11-02 06:12

注意力机制 - Transformer

文章目录1.简介2.多头注意力3.有掩码的多头注意力4.基于位置的前馈网络5.层归一化6.信息传递7.预测1.简介基于编码器-解码器架构来处理序列对跟使用注意力的seq2seq不同，Transformer
mango1698·2023-11-02 00:18

IA3源码分析

IA3源码分析PEFT开源包中的模型代码实现classIA3Model(BaseTuner):"""Example:```py>>>fromtransformersimportAutoModelForSeq2SeqLM
发呆的比目鱼·2023-11-01 11:38

2022最新版-李宏毅机器学习深度学习课程-P32 Transformer

一、seq2seq1.含义输入一个序列，机器输出另一个序列，输出序列长度由机器决定。文本翻译：文本至文本；语音识别：语音至文本；语音合成：文本至语音；聊天机器人：语音至语音。
QwQllly·2023-11-01 07:38

《动手学》：注意力机制与Seq2seq模型_课后作业

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（contextvector）来获取输⼊序列信息。
木头杨_88f8·2023-10-31 16:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他