Seq2seq

注意力机制、Transformer及VIT

注意力机制、Transformer及VIT一、注意力机制1、注意力机制提出背景：在传统的Seq2Seq模型中，编码器将输入序列中的信息压缩至固定长度的上下文向量，这限制了模型在处理长序列数据任务上的表现
poragoda·2022-11-19 08:31

BERT模型—1.BERT模型架构

文章目录引言一、Bert模型总览二、注意力机制1.Seq2seq中的注意力操作2.注意力的一般形式（三步曲）3.transformer中的自注意力机制—Self.Attention4.transformer
哎呦-_-不错·2022-11-19 06:35

对自注意力(self-attention)的理解以及基于pytorch的简易示例

简介自注意力(self-attention)：一个seq2seq的映射运算，具体而言，也就是将输入向量通过映射(或者说某种函数运算)输出对应的结果.向量的维度都为。
neowell·2022-11-19 04:03

DataWhale 深度学习 第二次打卡

第二次打卡学习笔记1.过拟合欠拟合及其解决方案2.梯度消失与梯度爆炸3.循环神经网络进阶4.机器翻译及相关技术5.注意力机制与Seq2seq模型6.Transfomer7.卷积神经网络基础8.LeNet9
H_opeful·2022-11-19 04:48

OpenAI Whisper论文笔记

OpenAIWhisper论文笔记OpenAI收集了68万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个seq2seq（语音到文本）的Transformer模型，自动语音识别（ASR）能力达到商用水准
Adenialzz·2022-11-19 01:52

transformers加载模型报错

当使用AutoModelForSeq2SeqLM加载模型时，报错RuntimeError:aviewofaleafVariablethatrequiresgradisbeingusedinanin-placeoperation
qq_28935065·2022-11-19 01:05

基于seq2seq的机器翻译系统

目录前言1.模型结构1.1encoder1.2decoder2.数据处理2.1数据集2.2字典构建2.3特殊符号3.参数加载3.1库的导入3.2词典导入4.准备训练集4.1导入原始训练数据4.2词典修改4.3加载数据集5.Encoder6.Decoder7.模型训练7.1输入格式7.2线性映射层7.3超参数设置7.4具体训练8.模型预测9.图形交互界面前言前段时间老师推荐过进行LSTM方向的研究，
cuguanren·2022-11-17 21:17

BERT预训练模型学习笔记

1.Transforme1.1要做一件什么事基本组成依旧是机器翻译模型中常见的Seq2Seq网络输入输出都很直观，其核心架构就是中间的网络设计了MxN，输入M，输出N1.2传统的RNN网络有什么问题传统
程哥哥吖·2022-11-17 20:36

毕业设计 - 题目：基于深度学习的中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
DanCheng-studio·2022-11-17 13:05

TensorFlow搭建LSTM实现多变量多步长时间序列预测（五）：seq2seq

目录I.前言II.seq2seqIII.代码实现3.1数据处理3.2模型搭建3.3模型训练/测试3.4实验结果IV.源码及数据I.前言系列文章：深入理解PyTorch中LSTM的输入和输出（从input
Cyril_KI·2022-11-17 09:00

【李宏毅2020 ML/DL】P1 introduction

【李宏毅2020ML/DL】P1introduction本节主要介绍了DL的15个作业英文大意Regression:回归分析Classification:分类RNN:循环神经网络CNN:卷积神经网络Seq2seq
码小余の博客·2022-11-17 07:32

李宏毅 self-attention

unclestrong.github.io/DeepLearning_LHY21_Notes/Notes_html/10_Self-attention_P1.htmlself-attention请看作业五seq2seqSelf-AttentionSelf-Attention
帅帅梁·2022-11-16 18:31

Attention、Self-attention 和 Transformer 的个人注记

下面为个人收集的一些链接：细讲|AttentionIsAllYouNeedhttps://mp.weixin.qq.com/s/RLxWevVWHXgX-UcoxDS70wAttention机制详解（一）——Seq2Seq
夜晓岚渺渺·2022-11-16 18:56

attention与self-attention

因为seq2seq模型容易遗忘掉部分信息，引入attention模型，它可以大幅度提高seq2eq模型下图横轴是输入得句子长度，纵轴是模型评价值，BLEU越高说明翻译越准确，可以看到，当字数很长时，翻译得准确率就会降低
咩咩_10538769·2022-11-16 18:21

从One-hot, Word embedding到Transformer，一步步教你理解Bert

群二维码我的二维码作者|张贵发转载自AINLP文章目录NLPWordEmbeddingRNN/LSTM/GRUseq2seqContextualWordEmbeddingtransformer:bertNLPNLP
zenRRan·2022-11-15 09:11

shallow fusion--学习笔记

在生成式seq2seq模型中，经常需要融入一个预训练的语言模型来帮助解码。这个过程叫作“LanguageModelFusion”。
Wsyoneself·2022-11-14 09:04

Transformer原理解析及机器翻译的应用

基于Seq2Seq模型的机器翻译引入Attention的Seq2Seq模型-机器翻译Transformer首先，可以思考为什么会需要Transformer？
我就算饿死也不做程序员·2022-11-12 04:23

【毕业设计】中文对话问答机器人系统 - python 深度学习

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
caxiou·2022-11-11 15:39

transformer学习笔记

文章目录1、模型架构1.1seq2seq结构1.2注意力机制2、transformer各部分介绍2.1encoder2.1.1encoder的输入2.1.2Multi-headattention2.1.3layernormalization2.1.4feedforward2.1.5scaleddot-productattention2.2decoder2.2.1decoder
仰望星空的小狗·2022-11-10 23:43

《深度学习进阶 自然语言处理》学习笔记（2）

单元的计算图损失函数的设置评价指标总结第六章GatedRNN上一章RNN存在的问题梯度爆炸与梯度消失LSTM一个LSTM单元的结构记忆单元c_t的引入3个门：遗忘门、输入门、输出门计算图LSTM的网络架构改进总结第七章基于RNN生成文本seq2seq
Lewis_Sean·2022-11-10 10:05

【动手学深度学习】李沐——循环神经网络

本文内容目录序列模型文本预处理语言模型和数据集循环神经网络RNN的从零开始实现RNN的简洁实现通过时间反向传播门控循环单元GRU长短期记忆网络（LSTM）深度循环神经网络双向循环神经网络机器翻译与数据集编码器-解码器架构序列到序列学习（Seq2Seq
FavoriteStar·2022-11-09 04:52

自然语言处理 | (26) 注意力(Attention)机制总结

原文地址目录1.前言2.Seq2Seq模型3.NLP中注意力机制起源4.NLP中的注意力机制5.HierarchicalAttention6.Attention机制的本质7.Self-Attention8
CoreJT·2022-11-09 03:36

【自然语言处理】Seq2Seq网络和attention机制

【seq2seq】seq2seq网络由两个独立的循环神经网络组成，被称为编码器和解码器，通常使用LSTM或GRU实现。编码器处理输入数据，其目标是理解输入信息并表示在编码器的最终状态中。
CC‘s World·2022-11-09 03:28

注意力机制--学习笔记

注意力一开始是被介绍为一种解决seq2seq模型主要问题的解决方案标准的seq2s
Wsyoneself·2022-11-07 23:08

注意力机制(attention)学习笔记

seq2seq模型（其有两个RNN网络构成，分别为encode和decode），一种常用于实现文本翻译的模型，其结构如下面对采用相同状态c导致的遗忘与无差别问题，我们提出了注意力机制。如何计算这
彭祥.·2022-11-07 23:31

自然语言处理从零到入门 Encoder-Decoder 与 Seq2Seq

自然语言处理从零到入门Encoder-Decoder与Seq2Seq一、什么是Encoder-Decoder？二、什么是Seq2Seq？三、Encoder-Decoder有哪些应用？
BlackStar_L·2022-11-05 07:46

NLP自然语言处理学习笔记（九）（转自咕泡AI）

目前市面上的常见闲聊机器人有微软小冰这种类型的模型，很久之前还有小黄鸡这种体验更差的模型常见的闲聊模型都是一种seq2seq的结构，在后面的课程中我们会学习并使用seq2seq来实现我们的闲聊机器人Seq2Seq
程哥哥吖·2022-11-04 17:00

基于注意力机制的Encoder-Decoder翻译器

Neuralmachinetranslationwithattention基于注意力机制的seq2seq神经网络翻译器前言代码解析1.Downloadandpreparethedataset数据下载和预处理
长夜临光·2022-10-30 03:53

Seq2Seq - 序列到序列的学习(RNN循环神经网络)

文章目录序列到序列学习(Seq2Seq)编码器解码器损失函数训练预测预测序列的评估小结序列到序列学习(Seq2Seq)正如我们在之前中看到的，机器翻译中的输入序列和输出序列都是长度可变的。
Gaolw1102·2022-10-30 03:22

什么是Encoder-Decoder、Seq2Seq、Attention？

本文紧接《一幅图真正理解LSTM、BiLSTM》，需要RNN，LSTM，BiLSTM的基础。本文目的：attention最早用于图像领域，但在NLP领域中发扬光大（主要是2018年的BERT和GPT），最近又回归CV领域大放异彩。现在CV领域越来越多的应用到了transformer（主要是attention），并且分类和检测任务的SOTA模型渐渐被其占领，这似乎是一种趋势，当下有必要对它们的来龙去
⊙月·2022-10-30 03:50

注意力机制attention图解

来自对https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention
cloudless_sky·2022-10-30 03:44

李沐动手学深度学习V2-基于注意力机制的seq2seq

一.基于注意力机制的seq2seq1.Bahdanau注意力介绍在前面博客李沐动手学深度学习V2-seq2seq和代码实现中探讨了基于seq2seq架构的机器翻译问题：通过设计一个基于两个循环神经网络的编码器
cv_lhp·2022-10-30 03:44

动手实现 Bahdanau 注意力模型

前一篇我们学习了seq2seq模型，从它的模型结构中我们可以看到存在两个瓶颈：例如，当我们用seq2seq翻译一句话时，它的Encoder需要将原始句子中的主语，谓语，宾语，以及主谓宾之间的关系等信息都压缩到一个固定长度的上下文向量中
Alice熹爱学习·2022-10-30 03:43

Bahdanau 注意力(具备注意力机制的Encoder-Decoder模型)

文章目录Bahdanau注意力模型定义注意力解码器训练小结Bahdanau注意力我们在Seq2Seq中探讨了机器翻译问题：通过设计一个基于两个循环神经网络的编码器-解码器架构，用于序列到序列学习。
Gaolw1102·2022-10-30 03:11

李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder

预测前后两个句子是否相接）BERT的fine-tune应用BERT框架GLUE（测试BERT的能力）case1-语句分类case2-词性标注case3-句意立场分析case4-问答系统Pre-trainingaseq2seqmodelT
iwill323·2022-10-28 20:28

李宏毅《深度学习人类语言处理》P3 Speech Recognition-Listen,Attend,Spell笔记

Listen,Attend,andSpell(LAS)Listen是Encoder，Spell是Decoder以下这些模型都是seq2seq模型。只是不同的类别。
hit1180300403·2022-10-28 05:03

datawhale 8月学习——NLP之Transformers：attention和transformers

在这次笔记中，第一部分简单介绍了问题背景，第二部分首先介绍了处理自然语言的Seq2seq结构，并引入了Attention机制，在这部分介绍中讲述了在Seq2seq中引入Attention的目的，键值对
SheltonXiao·2022-10-27 21:45

编码器和解码器

1.编码器—解码器（seq2seq）编码器的作用是把一个不定长的输入序列变换成一个定长的背景变量c，并在该背景变量中编码输入序列信息。常用的编码器是循环神经网络。
樱花的浪漫·2022-10-27 09:15

NLP-D6-李宏毅机器学习L3hw-L4self-attention-L5seq2seq(Transformer)

昨天的进度被一些意外的事情打乱了，而且搞得心烦意乱，但是没关系！！！留得青山在，不怕没柴烧，昨天第一次给同学讲解ML，发现了自己不牢固的知识，感觉很好！----0553开始预习hw3的slides&&看课。----------0609看了作业要求，感觉很干！！！打算边吃饭边看。------0628吃完了，产生了问题1、交叉验证不会使模型提前见到训练集嘛？我自己的想法：我们本来做的就是用val调mo
甄小胖·2022-10-24 18:12

【学习笔记】李宏毅2021春机器学习课程第5.1节：Transformer（一）

文章目录1序列到序列的模型2Seq2seqmodel常见的应用场景2.1聊天机器人2.2问题回答(QA)2.3文法剖析2.4多标签分类2.5对象检测3Seq2seqmodel的整体架构4编码器的具体架构
Harryline-lx·2022-10-24 18:40

P11机器学习--李宏毅笔记（Transformer Encoder）

目录EncoderresidualconnectionLayernormolizationFullyConnectnetworkEncoder架构改进Transformer也是seq2seq模型的一种，
温涛·2022-10-24 18:39

2021/2022李宏毅机器学习笔记-Transform

Transformer就是一个Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什么呢？
nousefully·2022-10-24 18:04

【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记

Transformer总结Sequence-to-sequence（Seq2seq）适用任务恰当任务：语音识别恰当任务：机器翻译恰当任务：语音翻译恰当任务：语音合成恰当任务：聊天机器人恰当任务：自然语言处理硬解任务
暖焱·2022-10-24 18:33

2019年CS224N课程笔记-Lecture 8: MachineTranslation seq2seq Attention

资源链接：https://www.bilibili.com/video/BV1r4411本节课主要介绍了机器翻译、seq2seqtoseq2seq和注意力机制。
任菜菜学编程·2022-10-24 18:31

李宏毅2021春季机器学习课程笔记7： Seq2seq & Transformer

文章目录1.Seq2seq2.Encoder2.1Block2.Decoder2.1Autoregressive（AT）2.2Non-autoregressive（NAT）2.3Crossattention4
Andy in boots·2022-10-24 18:00

NLP | Transformer 中的关键知识点附代码

Transformer是seq2seq的模型，也就是数据有顺序，输出的是序列。本文主要结合代码理解Transformer。
夏天｜여름이다·2022-10-22 07:52

机器学习笔记（李宏毅 2021/2022）——第五节：Transformer

2021-Transformer（下）self-attention变形一、Transformer应用Transformer就是一个Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq
toro180·2022-10-19 19:43

2022李宏毅机器学习深度学习学习笔记第三周--transformer

文章目录摘要一、transformer的引入怎么做seq2seq模型encoder的架构decoderNon-autoregressive(NAT)二、总结摘要本文介绍的内容是transformer（全自注意力网络
hehehe2022·2022-10-19 19:42

Self-attention（李宏毅2022

e.g.sentimentanalysis，语者辨识，判断分子特性类型三：由模型自己决定（seq2seq）。e.g.翻译、语音识别第四节2021-自注意力机制(Self-attention)(上)_
linyuxi_loretta·2022-10-19 19:12

【transformer】|李宏毅 self attention

独热编码的问题在于单词之间没有关联通过wordembedding表示输出seq2seq就是输出向量维度由模型决定注意本文只分析N-N第一个类型self-attention层怎么获取每个输入的关联程度呢？
rrr2·2022-10-19 19:12
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他