Encoder-Decoder

使用 SageMaker 对 Whisper 模型进行微调及部署

使用SageMaker对Whisper模型进行微调及部署Whisper作为OpenAI最新开源的自动语音识别（ASR）模型，采用了编码器-解码器（encoder-decoder）transformer架构
马良神笔·2023-07-14 23:57

encoder-decoder模型和注意力模型（Attention Model）

u014595019/article/details/52826423http://blog.csdn.net/malefactor/article/details/50550211多用于NLP领域什么是encoder-decoder
FD_Rookie·2023-07-13 23:06

软注意力机制和硬注意力机制，以及seq2seq

硬注意力机制是从存储的多个信息中只挑出一条信息来，可能是概率最大的那个词向量,seq2seq是word2vec(词嵌入)的Encoder-Decoder框架***********************
是小李呀~·2023-06-21 12:01

图像 分割 - DeepLabv3+: Encoder-Decoder with Atrous Separable Convolution for Semantic ... (ECCV 2018)

DeepLabv3+:Encoder-DecoderwithAtrousSeparableConvolutionforSemanticImageSegmentation-用于语义图像分割的空洞可分离卷积编解码器（ECCV2018）摘要1.引言2.相关工作3.方法3.1具有空洞卷积的编解码器3.2修改的对齐Xception4.实验评价4.1解码器设计选择4.2ResNet-101作为网络骨干4.3作
77wpa·2023-06-19 14:15

U-Net网络结构详解

整体而言，U-Net是一个Encoder-Decoder（编码器-解码器）的结构，这一点是与FCN的结构相同。该网络结构的左半部分是特征提取，右半部分是上采样。
AKxiaokui·2023-06-15 04:05

ModNet抠图算法及摄像头实时抠图示例

视频抠图采用绿幕的原因1、摄像机成色原因2、抠图效果原因3、经济成本二、抠图背景知识1、Trimap2、什么是抠图3、抠图算法分类三、DeepImageMatting算法1、网络结构图2、算法解读（1）Encoder-Decoder
benben044·2023-06-14 16:46

Attention

在Encoder-Decoder结构中，Encoder把所有的输入序列都编码成一个统一的语义特征c再解码，因此，c中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
欧文坐公交·2023-06-09 21:02

Transformer模型简介

Transformer在机器翻译任务上的表现超过了RNN，CNN，只用encoder-decoder和attention机制就能达到很好的效果，最大的优点是可以高效地并行化。
gb4215287·2023-06-09 00:28

Seq2Seq 模型详解

当遇到输入和输出都是不定长的序列时，可以使用编码器-解码器（encoder-decoder）模型或者seq2seq模型。其基本思想是编码器用来分析输入序列，解码器用来生成输出序列。
angushuang17·2023-06-07 23:57

Encoder-Decoder

2021SC@SDUSC为了更好的理解模型代码，进行的相关知识补充学习系列文章目录（一）面向特定问题的开源算法管理和推荐（二）论文阅读上（三）sent2vec（四）BERTforKeyphraseExtraction（五）config.py代码分析（六）model.py(上）（七）论文-补充理解（八）数据处理之prepro_utils.py（九）preprocess.py代码分析（十）prepro
qq_47537678·2023-04-20 01:01

使用RNN encoder-decoder学习短语表示用于机器翻译

使用RNNencoder-decoder学习短语表示用于机器翻译使用单层RNN实现机器翻译，论文地址。2.1Introduction一个通用的seq2seq模型是：image.png上一个项目使用的是两层LSTM组成的seq2seq模型：image.png这个模型的缺点是，我们的解码器隐藏状态信息太多，解码的同时，隐藏状态会包含整个源序列的信息。除此之外，本次还将使用GRU来代替LSTM。2.2准
Anathema_b5dc·2023-04-17 18:23

2021AAAI-BestPaper-Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

作者以及单位周号益北航解决问题从论文作者演讲的ppt来看，Transformer存在一些严重的问题：二次时间复杂度、高内存使用率以及encoder-decoder体系结构的固有限制。
andyham·2023-04-15 13:54

PyTorch 进行多步时间序列预测详细教程

一、前言Encoder-decoder模型提供了最先进的结果，可以对语言翻译等NLP任务进行排序。多步时间序列预测也可以视为seq2seq任务，可以使用编码器-解码器模型。
倾城一少·2023-04-15 13:49

【论文阅读】MAE阅读笔记

基于VIT上的BERT带掩码的自编码器是一个可拓展的视觉学习器Autoencoder：y和x来自于同一个东西摘要随机图片里的一些块，然后去重构被盖住的像素encoder-decoder使用小的数据集，用自监督的方式
小松不菜·2023-04-12 14:27

将RNN嵌入到ENCODER–DECODER

NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate一、进食前提这里要弄明白RNN，LSTM，BiRNN，Seq2Seq二、RNNWithEncoder-Decoder在Encoder-Decoder
丶Morghulis·2023-04-09 07:01

U-net网络详解

论文地址：https://arxiv.org/abs/1505.04597学习视频：U-Net网络结构讲解(语义分割)_哔哩哔哩_bilibili整体结构如下图，U-net结构为Encoder-Decoder
SL1029_·2023-04-09 04:46

P-Tuning : GPT Understands,Too 论文笔记

论文笔记IntroductionMethod：P-tuning结构优化方法代码实验IntroductionLLM目前可以分为三类，Decoder-Only如GPT，Encoder-Only如BERT，还有Encoder-Decoder
HanZee·2023-04-09 04:22

Transformer详解笔记

TransformerTransformer是在一篇名为《AttentionIsAllYouNeed》的文章中提出的，采用了encoder-decoder架构，抛弃了传统的CNN和RNN，整个网络结构完全由
LOD1987·2023-04-05 12:12

Transformer初识

与之前主流的翻译模型相比，transformer的依然是一个encoder-decoder结构，改变的主要是encoder和decoder内部的组成，改变结构带来的优势是使得模型可以并行化训练。
妖皇裂天·2023-04-04 13:29

Gavin老师Transformer直播课感悟 - Transformer基于Bayesian思想拥抱数据的不确定性

Transformer基于Encoder-Decoder的架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现:上图中左边的Multi-HeadAttention
m0_49380401·2023-04-03 22:06

Transformer架构详解

首先，Transformer模型也是使用经典的encoder-decoder架构，由encoder和decoder两部分组成。上图左侧用Nx框出来的，就是
魏鹏飞·2023-04-01 17:46

Transformer-《Attention is All You Need》

简介Transformer是谷歌提出的只基于Attention的网络模型,它也是一种Encoder-Decoder的网络结构,但是没有使用任何CNN或者RNN的结构,而是全靠Attention,soAttentionisAllYouNeed
hiyoung·2023-03-30 21:46

Sequence to Sequence模型笔记

之后广泛应用于机器翻译中，该论文提出了一种新的Encoder-Decoder模型。
ioiogoo·2023-03-30 18:27

【神经网络深度学习】--语义分割 Unet

Unet跟FCN都是Encoder-Decoder结构，结构简单但很有效。Encoder负责特征提取，可以将各种特征提取网络放在这个位置。
图 (TU商兴)·2023-03-30 12:53

VAE的NLP理解（离散，没有序列性）

VariationalAuto-Encoder变分自编码器严格来说，VAE实现的是“文本重建”，它虽然也包含“编码器”和“解码器”两个部分，但和NLP中的encoder-decoder架构还是有所区别。
桂花很香,旭很美·2023-03-29 03:31

Transformer Tutorials 最全入门详细解释（一）

目录.0背景0.1RNN0.2seq2seq(别名Encoder-Decoder)0.3Attention（注意力机制）.1Transformer1.1什么是Transformer1.2Encoder-Decoder1.3self-attention1.4Multi-Headattention1.5output
啥也不是的py人·2023-03-28 07:47

注意力机制

目录Attention机制由来Encoder-Decoder框架最常见的attention模型——SoftAttention其他attention模型本文大部分的内容来自于深度学习中的注意力机制1.Attention
张虾米试错·2023-03-22 11:03

PaddlePaddle : AI抠图及图片合成

在最新作中，作者通过encoder-decoder进行多尺
才能我浪费·2023-03-21 14:10

百度计算机视觉算法工程师面试题（秋招）

1、对Transformer的理解Transformer本身是一个典型的encoder-decoder模型，Encoder端和Decoder端均有6个Block，Encoder端的Block包括两个模块
七月在线·2023-03-14 07:00

Tensorflow中的AttentionCellWrapper：一种更通用的Attention机制

AttentionCellWrapper的疑问关注Attention机制的同学们都知道，Attention最初是在Encoder-Decoder结构中由Bahdanau提出来的：《NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate
YoungLittleFat·2023-03-12 10:22

STEP-5：Pytorch-机器翻译Seq2Seq

SequencetoSequence模型:Encoder-Decoder结构训练预测具体结构：ImageNameEncoder-Pytorch实现importtorchimporttorch.nnasnnclassSeq2SeqEncoder
可恶小林子·2023-03-11 12:45

一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq

Encoder-Decoder和Seq2SeqEncoder-Decoder是NLP领域里的一种模型框架。它被广泛用于机器翻译、语音识别等任务。
weixin_43612023·2023-02-22 07:52

Transformer

目录Transformer结构Transformer过程详解1.Transformer结构Transformer是一个Encoder-Decoder的过程，其中Encoders是由个（论文中）Encoderblock
张虾米试错·2023-02-17 09:24

目标检测：DETR详解

DETR是一个经典的Encoder-Decoder结构的算法，它的骨干网络是一个卷积网络，Encoder和Decoder则是两个基于Transformer的结构。DETR的输出层则是一个MLP。
HanZee·2023-02-06 08:58

五.encoder-decoder

机器翻译这块看的懵懂，先贴代码部分，概念部分不熟悉没整理出来，以后回来更新Encoder-Decoderencoder：输入到隐藏状态decoder：隐藏状态到输出imageclassEncoder(nn.Module):def__init__(self,**kwargs):super(Encoder,self).__init__(**kwargs)defforward(self,X,*args)
copain_sir·2023-02-05 23:28

DETR：Transformer的目标检测（detection）- Demo

DETR：Transformer的目标检测Transformer是一个基于自注意力机制的深度学习模型，它的经典结构：encoder-decoder。
Kukulin13013·2023-02-03 12:53

Transformer原理及代码注释(Attention is all you need)

Transformer采用了机器翻译中通用的encoder-decoder模型，但摒弃了以往模块内部的RNN模型，只是完全依赖注意力机制来构建模型。
ffffatgoose·2023-02-02 21:26

context encoder代码解读

网络结构修复图像E-D阶段用于学习图像特征生成待修补区域对应的预测图，使用GAN对抗学习来优化模型针对联合损失和规则遮挡的encoder-decoder+GANmodel.py生成器自定义一个生成器网络G：Encoder-Decoder
EstherWjj·2023-02-02 21:55

详解注意力机制和Transformer

本文的学习路线：Attention从生物学的角度引入到计算机视角，介绍了什么是Attention▶️介绍Encoder-Decoder框架(目前大部分AttentionModel都是依附于该框架实现)▶️
zyw2002·2023-02-02 10:32

【神经网络】学习笔记十四——Seq2Seq模型

这种结构又叫Encoder-Decoder模型，即编码-解
昔我往矣wood·2023-02-01 12:04

使用Attentioned Dual-Stage RNN模型预测股票（PyTorch）

ADual-StageAttention-BasedRecurrentNeuralNetworkforTimeSeriesPrediction，利用PyTorch为框架实现了作者提出的基于attention机制的一个encoder-decoder
Snak1enn·2023-01-31 13:21

注意力机制以及应用

注意力机制以及应用注意力机制的由来encoder-decoder简单原理说明global和hard以及localCNN中的attentionself-attention实际运用Attention成为了越来越来模型里绕不过去的坎
Sigyc·2023-01-31 13:21

谷歌&HuggingFace | 零样本能力最强的语言模型结构

本文约2000字，建议阅读5分钟要是为了模型的zero-shot泛化能力，decoder结构+语言模型任务最好；要是再multitaskfinetuning，encoder-decoder结构+MLM任务最好
数据派THU·2023-01-31 10:04

Transformer详解（三）：Transformer 结构

整体结构Transformer整体结构宏观上看是一个Encoder-Decoder结构，只不过这个结构完全抛弃了常见的RNN,LSTM等结构。Transformer整体结构图中左边部分为Encod
Max_7·2023-01-31 03:39

墨尘语义分割1--DeeplabV3+源码解析及训练自己的数据集

DeepLabv3+主要在模型的架构上作文章，为了融合多尺度信息，其引入了语义分割常用的encoder-decoder形式。
我是尘客哥·2023-01-30 11:28

Transformer onnx模型的导出

0.Encoder.onnx和decoder.onnxSeq2seq结构也称为encoder-decoder结构，在decoder结构为单步解码时，seq2seq的导出的与只有encoder时（如BERT
haroldLiu001·2023-01-30 08:37

Seq2Seq模型

Seq2Seq模型实际上是一个Encoder-Decoder的网络模型，由Encoder将变长的序列编码压缩成固定长度的向量，然后由Decoder将解码成目标序列Seq2Seq[GO]启动序列的解码，当解码到输出
_Megamind_·2023-01-30 08:23

手撕transformer

1.从encoder-decoder说起encoder-decoder是一个框架，在生成模型中使用广泛，这里以翻译系统为例。
3ce0470dc2f4·2023-01-29 11:40

【Pytorch项目实战】之机器翻译：编码器-解码器、注意力机制AM

文章目录机器翻译-中英文翻译算法一：编码器-解码器（Encoder-Decoder）算法二：注意力机制（AttentionModel，AM）2.1为何要引入注意力机制？
胖墩会武术·2023-01-29 11:11

基于torch函数TransformerEncoder出现AssertionError问题的解决

在使用transformermodel时，由于存在encoder-decoder,encoder-only,decoder-only三种结构以应对不同的task。
小乖乖的臭坏坏·2023-01-29 10:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他