Encoder-decoder

Transformer+目标检测，这一篇入门就够了

VisionTransformerforObjectDetection本文作者：Encoder-Decoder简介：Encoder-Decoder的缺陷：Attention机制：Self-Attention
BIT可达鸭·2024-09-07 21:19

【笔记】Encoder-Decoder模型

Encoder-DecoderFrameworkEncoder-DecoderEncoderDecoderDecoderwithAttention参考Encoder-DecoderEncoder输入:X=(x1,x2,...,xTx)X=(x_1,x_2,...,x_{T_x})X=(x1,x2,...,xTx)输出:上下文向量(contextvector)ccc步骤：ht=f(xt,ht−1)c
808130260·2024-09-05 19:42

大模型时代，图像描述生成（image caption）怎么走？

主流结构：Transformer为了实现图像描述的任务，常见的方法是采用编码器-解码器（encoder-decoder）的
Only_one_road·2024-02-09 21:17

为什么现在的LLM都是Decoder only的架构

而Encoder-Decoder架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only架构就是最优选择了。为什么现
u013250861·2024-02-03 12:55

LLM都是Decoder only的架构原因解读

稍微总结下：从模型实用层面来说：Decoder-only架构计算高效：相对于Encoder-Decoder架构，Decoder-only架构不需要编码器先编码整个输入序列，所以训练推理速度更快。
u013250861·2024-02-03 12:55

经典的语义分割(semantic segmentation)网络模型（综合篇）

.基础的语义分割架构project_summaryConvolutionalencoder-decoderarchitectureofpopularSegNetmodel.主流的语义分割网络大都是基于Encoder-Decoder
花花少年·2024-01-29 13:23

预训练语言模型transformer

预训练语言模型的学习方法有三类：自编码（auto-encode,AE)、自回归（autoregressive,AR），Encoder-Decoder结构。
Icevivina·2024-01-28 11:48

大语言模型系列-T5

Decoderonly）、BERT（Encoderonly），但是这两个模型针对不同下游不同的NLP任务时还需要进行一定的修改（如添加一些线性层），Google经过庞大的预训练，最终提出了一个通用框架T5模型（Encoder-Decoder
学海一叶·2024-01-25 07:27

51-12 多模态论文串讲—BLIP 论文精读

视觉语言预训练VLP模型最近在各种多模态下游任务上获得了巨大的成功，目前还有两个主要局限性:(1)模型角度:大多数方法要么采用encoder模型，要么采用encoder-decoder模型。
深圳季连AIgraphX·2024-01-24 18:19

python Seq2Seq模型源码实战，超详细Encoder-Decoder模型解析实战；早期机器翻译模型源码demo

1.Seq2Seq（Encoder-Decoder）模型简介Seq2Seq（Encoder-Decoder）模型是一种常用于序列到序列（sequence-to-sequence）任务的深度学习模型。
医学小达人·2024-01-24 11:55

学习笔记之 机器学习之预测雾霾

文章目录Encoder-DecoderSeq2Seq(序列到序列）Encoder-Decoder基础的Encoder-Decoder是存在很多弊端的，最大的问题就是信息丢失。
JNU freshman·2024-01-23 03:12

ChatGLM vs ChatGPT

绿色：Encoder-Decoder，尽头智谱ChatGLM。蓝色：Decoder-only，尽头OpenAIGPT4。
南宫凝忆·2024-01-21 06:17

Transformer模型

前置知识：Attention机制结构Transformer主要包括四部分，其中2,3两部分是Transformer的重点，Transformer是一个基于Encoder-Decoder框架的模型原理输入自然语言序列到编码器
惊雲浅谈天·2024-01-17 03:54

Self-Attention

前置知识：RNN，Attention机制在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target
惊雲浅谈天·2024-01-17 03:23

LLM主流框架：Causal Decoder、Prefix Decoder和Encoder-Decoder

本文将介绍如下内容：transformer中的mask机制CausalDecoderPrefixDecoderEncoderDecoder总结一、transformer中的mask机制在Transformer模型中，mask机制是一种用于在self-attention中的技术，用以控制不同token之间的注意力交互。具体来说，Transformer中使用两种类型的mask：paddingmask和
TFATS·2024-01-15 17:53

Transformer 是拥抱数据不确定性的艺术

Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian
孙庚辛·2024-01-13 00:38

【读文献】Attention is all your need - Transformer

基于RNN/CNN的Encoder-Decoder或者RNN带Attention的Encoder-Decoder不能并行计算或者并行计算的复杂度会随着输入输出距离的增加而大幅度增加，以及RN
无名草鸟·2024-01-09 20:05

论文阅读 Attention is all u need - transformer

文章目录1摘要1.1核心2模型架构2.1概览2.2理解encoder-decoder架构2.2.1对比seq2seq，RNN2.2.2我的理解3.Sublayer3.1多头注意力multi-headself-attention3.1.1
highoooo·2024-01-09 20:00

2024.1.7周报

目录摘要ABSTRACT一、文献阅读1、题目2、摘要3、模型架构4、文献解读一、Introduction二、创新点三、实验过程四、结论二、深度学习知识一、从Encoder-Decoder框架中理解为什么要有
Nyctophiliaa·2024-01-08 14:03

学习周报2.26

文章目录前言文献阅读摘要方法结果深度学习Encoder-Decoder（编码-解码）信息丢失的问题Attention机制总结前言Thisweek,Ireadanarticleaboutdailystreamflowprediction.Thisstudyshowstheresultsofanin-depthcomparisonbetweentwodifferentdailystreamflowpr
hehehe2022·2024-01-08 06:36

第三十八周周报：文献阅读 +BILSTM+GRU+Seq2seq

LSTM（长短期记忆网络）耦合模型研究实验数据集评估指标研究目的洪水深度预测实验结果LSTM变体BidirectionalLSTM（双向LSTM）GRU（门循环控制单元）Seq2seq模型编码器-解码器（encoder-decoder
m0_66015895·2024-01-08 06:01

机器学习-基于attention机制来实现对Image Caption图像描述实验

机器学习-基于attention机制来实现对ImageCaption图像描述实验实验目的基于attention机制来实现对ImageCaption图像描述实验内容1.了解一下RNN的Encoder-Decoder
septnancye·2024-01-03 08:28

Attention机制

前置知识：RNN，LSTM/GRU提出背景Attention模型是基于Encoder-Decoder框架提出的。Encoder-Decoder框架，也就是编码-解码框架，主要被用来处理序列-序列问题。
惊雲浅谈天·2024-01-02 06:44

不用再找了，这是大模型最全的面试题库

prefixDecoder和causalDecoder和Encoder-Decoder区别是什么？大模型LLM的训练目标是什么？涌现能力是啥原因？为何现在的大模型大部分是Decoderonly结构？
机器学习社区·2023-12-31 00:34

Scaling Down, LiTting Up: Efficient Zero-Shot Listwise Reranking with Seq2seq Encoder-Decoder Models

Q:这篇论文试图解决什么问题？A:这篇论文介绍了两种基于T5模型的零样本列表重排方法，旨在提高列表重排的效率。作者提出了两个研究问题：1)序列到序列的编码器-解码器模型是否可以适应列表重排？2)是否可以将更大模型的重排效果提炼到更小的序列到序列编码器-解码器重排模型中？为了回答这些问题，作者提出了两种方法：LiT5-Distill和LiT5-Score。LiT5-Distill通过蒸馏从更大的Ra
步子哥·2023-12-28 16:13

Encoder-Decoder综述理解(推荐)

文章目录一、Encoder-Decoder（编码-解码）介绍几点说明信息丢失的问题应用二、Seq2Seq（序列到序列）介绍Seq2Seq与Encoder-Decoder三、代码实现任务描述数据集设计模型模型的实现过程数据预处理代码如下
爱科研的徐博士·2023-12-25 23:42

大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder

如下图：https://arxiv.org/pdf/2304.13712.pdf基于Transformer模型以非灰色显示：decoder-only模型在蓝色分支，encoder-only模型在粉色分支，encoder-decoder
Charles_yy·2023-12-23 06:35

常见注意力机制原理介绍与对比

1.引言自从2014年Seq2Seq提出以来，神经机器翻译取得了很多的进展，但是大部分模型都是基于encoder-decoder的结构，这就要求encoder对于输入序列的编码能力要足够强，才能确保得到的输入序列的上下文向量能够尽可能地保留输入序列的信息
林ch·2023-12-21 01:03

Encoder-Decoder和Auto-Encoder的简介

目录#一、Encoder-Decoder1.Encoder2.Decoder3.Encoder-Decoder几点说明存在的问题Auto-Encoder简介Auto-Encoder代码实现（以MNIST手写数据集为例）#一、Encoder-Decoder1.EncoderEncoder也就是编码器，作用是将输入序列转化成一个固定维度的向量，这个向量就可以看成输入序列的语义，利用语义可以做一些下游的
碧蓝的天空丶·2023-12-18 08:08

GRU，LSTM，encoder-decoder架构，seq2seq的相关概念

门控记忆单元（GRU）GRU模型有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态。这些机制是可学习的。门控循环单元具有以下两个显著特征：重置门有助于捕获序列中的短期依赖关系；更新门有助于捕获序列中的长期依赖关系。计算门控循环单元模型中的隐状态GRU中的四个计算公式(符号⊙是Hadamard积，按元素乘积)：Rt=σ(XtWxr+Ht−1Whr+br)R_t=σ(X_tW_{xr}+H_
hadiii·2023-12-16 08:04

Disentangled Representation Learning GAN for Pose-Invariant Face Recognition

作者提出了如图中(d)所示，使用一个encoder-decoder结构作为。encoder的输入是
Junr_0926·2023-12-16 02:40

编码器和解码器

这被称为编码器-解码器（encoder-decoder）架构，如图
tantantan12321·2023-12-06 21:17

总结

《AttentiveFeedbackNetworkforBoundary-AwareSalientObjectDetection》网络结构如下：image.png同样是FCN-based（或Encoder-Decoder
ICE0223·2023-12-03 02:23

Encoder-Decoder 框架

一、Encoder-Decoder框架的结构Encoder-Decoder框架可以看作是一种深度学习领域的研究模式，应用场景异常广泛。
宠乖仪·2023-11-29 09:16

encoder-decoder

编码器负责将输入数据（如图像或文本）压缩为低维表示（也称为“特征向量”或“编码”），同时保留输入数据的主要信息。编码器通常由卷积层或循环神经网络（RNN）构成，可以逐层提取输入数据的特征，并将其转化为更抽象、更紧凑的表示。解码器负责将编码器产生的低维表示还原回输入数据的原始形式。解码器通常由反卷积层或逆向循环神经网络构成，可以逐层还原输入数据的特征，并生成与输入数据相同大小的输出。Encoder-
Cx-living·2023-11-29 08:12

Encoder、Decoder和Encoder-Decoder

首先LLM有3种架构：Encoder-only、Decoder-only、encode-decode整体情况1、Encoder将可变长度的输入序列编码成一个固定长度的向量，比如在bert中应用的encoder，其实是输入和输出是等长的向量。通常情况下，encoder是用来提取特征的，因此更适合用于文本分类、情感分析等任务2、Decoder将固定长度的向量解码成一个可变长度的输出序列，经常比如gpt
lanmengyiyu·2023-11-29 08:38

NLP | Seq2Seq，Encoder-Decoder图文详解及代码

在本文中，概述序列到序列模型，这些模型在机器翻译，视频字幕，图像字幕，问答等不同任务中使用。1.SequencetoSequence序列到序列1.1.序列建模问题序列建模问题是指输入和/或输出是一系列数据（单词，字母...等）考虑一个非常简单的问题，即预测电影评论是正面的还是负面的。在这里，我们的输入是一个单词序列，输出是0到1之间的单个数字。如果我们使用传统的DNN，那么我们通常必须使用BOW、
夏天｜여름이다·2023-11-27 20:49

[转] 图解Seq2Seq模型、RNN结构、Encoder-Decoder模型 到 Attention

from:https://caicai.science/2018/10/06/attention%E6%80%BB%E8%A7%88/一、Seq2Seq模型1.简介Sequence-to-sequence(seq2seq)模型，顾名思义，其输入是一个序列，输出也是一个序列，例如输入是英文句子，输出则是翻译的中文。seq2seq可以用在很多方面：机器翻译、QA系统、文档摘要生成、ImageCapti
weixin_34101784·2023-11-27 20:18

详解从 Seq2Seq模型、RNN结构、Encoder-Decoder模型 到 Attention模型

from:https://caicai.science/2018/10/06/attention%E6%80%BB%E8%A7%88/一、Seq2Seq模型1.简介Sequence-to-sequence(seq2seq)模型，顾名思义，其输入是一个序列，输出也是一个序列，例如输入是英文句子，输出则是翻译的中文。seq2seq可以用在很多方面：机器翻译、QA系统、文档摘要生成、ImageCapti
qq_38573437·2023-11-27 19:47

Encoder-Decoder模型

1.Encoder-Decoder模型及RNN的实现所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？
我是一只的猪·2023-11-27 19:17

【RNN】剖析RNN 之 从RNN-(Simple|LSTM) 到 序列生成 再到 seq2seq框架（encoder-decoder，或称为seq2seq）

前言最近在搞一个多标签分类的项目，发现多标签分类问题中的多标签难点可以转化为序列生成问题（如下图，引自论文《EnsembleApplicationofConvolutionalandRecurrentNeuralNetworksforMulti-labelTextCategorization》[1]），论文中思想讲的很透彻，图也一目了然，但是RNN的具体实现上还是要自己搞清楚，因此这个思考过程整个
Tobi_Obito·2023-11-27 19:47

RNN（包括GRU和LSTM）和其他seq2seq/encoder-decoder模型

诸神缄默不语-个人CSDN博文目录本文主要介绍循环神经网络（RNN）及其在自然语言处理等领域的应用。RNN是一种专门处理序列数据的神经网络，它通过维持一个内部状态来捕捉时间序列信息。特别地，我们会深入探讨RNN的两个重要变体：长短期记忆网络（LSTM）和门控循环单元（GRU），它们各自在处理长序列数据时如何克服传统RNN的局限性。接着，本文将转向序列到序列（seq2seq）模型的讨论。Seq2se
诸神缄默不语·2023-11-27 19:46

【注意力机制】学习

文章目录前言一、Encoder-Decoder（一）作用（二）实现框架Encoder：Decoder（三）基于seq2seq模型的编码与解码方法1弊端：方法2以上两种方式的弊端二、AttentionModel
SDsqx6·2023-11-27 11:09

Image Caption：图像字幕生成

图像注释问题的通用解法非常接近于Encoder-Decoder结构，下面就几种方法作简单总结。
于建民·2023-11-25 06:33

LLMs 千面郎君 终极版

prefixDecoder和causalDecoder和Encoder-Decoder区别是什么？大模型LLM的训练目标是什么
weixin_43520816·2023-11-21 03:41

Self-Attention原理

Self-Attention原理论文《AttentionIsAllYouNeed》中公布的Transformer示意图整体还是Encoder-Decoder结构。
zzZ_CMing·2023-11-19 23:47

Attention is all you need（Transformer）论文阅读笔记

118002934Attention模型（2015年）：https://blog.csdn.net/zyk9916/article/details/118498156对于序列建模和转换问题，大量的研究都围绕以RNN为基础的encoder-decoder
zyk9916·2023-11-16 19:17

（五）比赛中的CV算法（下5）检测网络调优（2）CV中的注意力机制

全网最强的CV注意力机制总结注意力机制最早被使用在机器翻译（或自然语言处理）上中的Encoder-Decoder模型上，让网络在处理不同部分语句时能够聚焦到特定的已经编码的语义向量或输入上。
HNU跃鹿战队·2023-11-15 00:06

ChatGLM2-6B模型推理流程和模型架构详解

2一代GLM：旗帜鲜明的encoder-decoder架构2.1大模型架构2.2GLM特点2二代GLM：ChatGLM2-6B为例拆解2.1ChatGLM2-6B模型推理架构和流程2.2细节详解第一步：
原地漫游·2023-11-13 00:25

CoCa论文笔记

与基本的encoder-decoder
hello_dear_you·2023-11-03 18:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他