Seq2seq

工智能基础知识总结-- 什么是Seq2Seq

什么是Seq2SeqSeq2Seq模型，全称Sequencetosequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。
北航程序员小C·2024-01-07 20:20

工智能基础知识总结--什么是Transformer

Transformer是什么Transformer是Google在2017年的论文《AttentionIsAllYouNeed》中所提出的一种Seq2Seq的模型，该模型完全的抛弃了以往深度学习所使用的
北航程序员小C·2024-01-07 20:49

人工智能能理解幽默吗？《Can Language Models Make Fun A Case Study in Chinese Comical Crosstalk》论文解读

（2）在技术上，对各种方法进行了基准测试，包括Seq2seq、从头开始训练GPT、预训练GPT2和GPT-3，以生成
青云遮夜雨·2024-01-07 13:54

Keras实现seq2seq

概述Seq2Seq是一种深度学习模型，主要用于处理序列到序列的转换问题，如机器翻译、对话生成等。
缘起性空、·2024-01-06 13:20

【深度学习-基础学习】Transformer 笔记

Transfomer简介Transfomer架构主要是用来解决Seq2Seq问题的，也就是SequencetoSequence问题。输入是一个长度不确定的Sequence。
CarNong_Blog·2024-01-03 18:11

Transformer(seq2seq、self-attention)学习笔记

self-attention基础上记录一篇Transformer学习笔记Transformer的网络结构EncoderDecoder模型训练与评估Transformer的网络结构Transformer是一种seq2seq
shuyeah·2023-12-30 16:47

搭建简单的GPT聊天机器人

目录第一步进行语料库读取、文本预处理，完成data_utls.py第二步进行Seq2Seq模型的构建，完成Seq2Seq.py第三步进行模型参数设置、加载词典和数据、数据准备、GPU设置、构建优化器和损失函数
挽风起苍岚·2023-12-29 14:38

Scaling Down, LiTting Up: Efficient Zero-Shot Listwise Reranking with Seq2seq Encoder-Decoder Models

Q:这篇论文试图解决什么问题？A:这篇论文介绍了两种基于T5模型的零样本列表重排方法，旨在提高列表重排的效率。作者提出了两个研究问题：1)序列到序列的编码器-解码器模型是否可以适应列表重排？2)是否可以将更大模型的重排效果提炼到更小的序列到序列编码器-解码器重排模型中？为了回答这些问题，作者提出了两种方法：LiT5-Distill和LiT5-Score。LiT5-Distill通过蒸馏从更大的Ra
步子哥·2023-12-28 16:13

PyTorch实战：基于Seq2seq模型处理机器翻译任务(模型预测)

文章目录引言数据预处理加载字典对象`en2id`和`zh2id`文本分词加载训练好的Seq2Seq模型模型预测完整代码结束语引言随着全球化的深入，翻译需求日益增长。
高斯小哥·2023-12-28 12:41

transformer模型结构|李宏毅机器学习21年

p=4&vd_source=f66cebc7ed6819c67fca9b4fa3785d39文章目录概述seq2seqtransformerEncoderDecoderAutoregressive（AT
小居快跑·2023-12-27 23:01

Huggingface T5模型代码笔记

0前言本博客主要记录如何使用T5模型在自己的Seq2seq模型上进行Fine-tune。1文档介绍本文档介绍来源于Huggingface官方文档，参考T5。
Q同学的nlp笔记·2023-12-27 19:14

【Huggingface】DataCollatorForSeq2Seq中的pad_to_multiple_of选项

【Huggingface】DataCollatorForSeq2Seq中的pad_to_multiple_of选项官方的解释是pad_to_multiple_of(int,optional):Ifsetwillpadthesequencetoamultipleoftheprovidedvalue.ThisisespeciallyusefultoenabletheuseofTensorCoreson
Deno_V·2023-12-26 07:20

自己动手做 chatgpt:seq2seq翻译模型中GRU模块的原理和数据预处理

chatgpt是典型的NLP类型应用。也就是它主要于语言的处理和输出。因此它的模型设计必然借鉴了深度学习早期在语言翻译方面的算法设计。因此理解chatgpt我们就需要理解深度学习算法是如何处理自然语言翻译这个问题，就像学习微积分时，我们需要提前掌握加法和乘法。语言翻译本质上是将一个输入序列变成另一个输入序列。例如我们在谷歌翻译或百度翻译中输入一个序列序列：howareyou，翻译成中文时输出另一个
tyler_download·2023-12-26 05:30

Encoder-Decoder综述理解(推荐)

文章目录一、Encoder-Decoder（编码-解码）介绍几点说明信息丢失的问题应用二、Seq2Seq（序列到序列）介绍Seq2Seq与Encoder-Decoder三、代码实现任务描述数据集设计模型模型的实现过程数据预处理代码如下
爱科研的徐博士·2023-12-25 23:42

JUST技术：基于深度学习Seq2Seq框架的技术总结

本次分享为您带来的是Seq2Seq（SequencetoSeq
JUST极客·2023-12-25 20:35

今日无更新

这周Pytorch学的还算顺利，至少比之前AllenNLP要舒服一些，跑完Seq2Seq就要试着复现模型。
我的昵称违规了·2023-12-25 02:21

Rebel + LlamaIndex 构建基于知识图谱的查询引擎

它利用基于BART模型的自回归seq2seq方法，对200多种不同的关系类型执行端到端关系提取。这种方法通过将三联体表示为一个文本序列来简化关系提取。
数据与后端架构提升之路·2023-12-25 02:55

常见注意力机制原理介绍与对比

1.引言自从2014年Seq2Seq提出以来，神经机器翻译取得了很多的进展，但是大部分模型都是基于encoder-decoder的结构，这就要求encoder对于输入序列的编码能力要足够强，才能确保得到的输入序列的上下文向量能够尽可能地保留输入序列的信息
林ch·2023-12-21 01:03

NLP之transformer-Task02attention&transformer

潜在的答案：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。1.什么是seq2seq模型？
曼曼668·2023-12-19 21:17

AIGC智能创作时代一书总结

基准模型：FoundationModel大模型：LargeLanguageModel，LLMGAN（2014）、Diffusion（2015）、CLIP（2021）、Seq2Seq（2014）、Attention
zhaosuyuan·2023-12-18 20:59

Transformer的学习

文章目录Transformer1.了解Seq2Seq任务2.Transformer整体架构3.Encoder的运作方式4.Decoder的运作方式5.AT与NAT6.Encoder和Decoder之间的互动
鱼儿也有烦恼·2023-12-18 19:48

NLP中的Seq2Seq与attention注意力机制

文章目录RNN循环神经网络seq2seq模型Attention（注意力机制）总结参考文献RNN循环神经网络RNN循环神经网络被广泛应用于自然语言处理中，对于处理序列数据有很好的效果，常见的序列数据有文本
安替-AnTi·2023-12-17 02:49

GRU，LSTM，encoder-decoder架构，seq2seq的相关概念

门控记忆单元（GRU）GRU模型有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态。这些机制是可学习的。门控循环单元具有以下两个显著特征：重置门有助于捕获序列中的短期依赖关系；更新门有助于捕获序列中的长期依赖关系。计算门控循环单元模型中的隐状态GRU中的四个计算公式(符号⊙是Hadamard积，按元素乘积)：Rt=σ(XtWxr+Ht−1Whr+br)R_t=σ(X_tW_{xr}+H_
hadiii·2023-12-16 08:04

时间序列预测实战(二十六)PyTorch实现Seq2Seq(LSTM)（结果可视化+自动保存结果）

一、本文介绍本文给大家带来的时间序列模型是Seq2Seq，这个概念相信大家都不陌生了，网上的讲解已经满天飞了，但是本文给大家带来的是我在Seq2Seq思想上开发的一个模型和新的架构，其是专门为新手开发的
Snu77·2023-12-15 20:01

时间序列预测实战(二十五)PyTorch实现Seq2Seq进行多元和单元预测（附代码+数据集+完整解析）

一、本文介绍本文给大家带来的时间序列模型是Seq2Seq，这个概念相信大家都不陌生了，网上的讲解已经满天飞了，但是本文给大家带来的是我在Seq2Seq思想上开发的一个模型和新的架构，架构前面的文章已经说过很多次了
Snu77·2023-12-14 17:02

软著项目推荐 深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
iuerfee·2023-12-06 06:49

RNN、Seq2Seq、Transformers：NLP 中常用的神经架构简介

循环神经网络是一类神经架构，具有很酷的特性——循环机制——这使得它们成为处理可变长度的顺序数据的自然选择。与标准神经网络不同，RNN可以在接受新输入的同时保留前一层的信息。这是它的工作原理假设我们正在构建一个电子商务聊天机器人，由一个处理文本的RNN和一个预测其背后意图的前馈网络组成。机器人收到这条消息：“嗨！你们这件衬衫有不同颜色吗？”我们有11个单词（11个单词嵌入）作为输入，并且序列被切成标
wouderw·2023-12-06 05:27

HuggingFace学习笔记--BitFit高效微调

fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer,AutoModelForCausalLM,DataCollatorForSeq2Seqfromtransf
晓晓纳兰容若·2023-12-03 15:39

深度学习回顾：七种网络

一、说明本文揭开CNN、Seq2Seq、FasterR-CNN和PPO，以及transformer和humg-face—编码和创新之路。对于此类编程的短小示例，用于对照观察，或做学习实验。
无水先生·2023-12-03 12:25

[seq2seq]论文实现：Effective Approaches to Attention-based Neural Machine Translation

文章目录一、完整代码二、论文解读2.1RNN模型2.2Attention-basedModelsGlobalattentionalmodelLocalattentionalmodel2.3Input-feedingApproach2.4模型效果三、过程实现3.1导包3.2数据准备3.3构建相关类3.4模型配置3.5模型推理四、整体总结论文：EffectiveApproachestoAttentio
Bigcrab__·2023-12-02 02:16

seq2seq：中英文翻译

文章目录一、完整代码二、论文解读2.1RNN模型2.2Attention-basedModelsGlobalattentionalmodelLocalattentionalmodel2.3Input-feedingApproach2.4模型效果三、过程实现3.1导包3.2数据准备3.3构建相关类3.4模型配置3.5模型推理四、整体总结论文：EffectiveApproachestoAttentio
Bigcrab__·2023-12-02 02:04

LSTM seq2seq 模型之英语到法语翻译

1.数据集下载Machine-Translation-eng-fra|Kaggle2.预处理的完整的代码importos.pathimportnumpyasnpimporttensorflowastfimportkerasfromkeras.callbacksimportEarlyStopping,ModelCheckpointfromkeras.preprocessing.textimportT
茫茫人海一粒沙·2023-12-01 18:52

论文速览【ML4CO】—— 【Ptr-Net】Pointer Networks

PointerNetworks文章链接：PointerNetworks参考代码（非官方）：keon/pointer-networks发表：NIPS2015领域：深度学习解决组合优化问题(ML4CO)/序列模型（RNNseq2seq
云端FFF·2023-11-30 13:51

《深度学习进阶：自然语言处理》第8章 Attention

  第6章GatedRNN  第7章基于RNN生成文本  第8章Attention《深度学习进阶：自然语言处理》第8章Attention第8章Attention8.1Attention的结构8.1.1seq2seq
芒狗狗MangoGO·2023-11-30 03:13

竞赛选题 题目：基于深度学习的中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
laafeer·2023-11-29 21:00

用通俗的方式讲解Transformer：从Word2Vec、Seq2Seq逐步理解到GPT、BERT

直到今天早上，刷到CSDN一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。关于BERT的笔记，其实一两年前就想写了，迟迟没动笔的原因是国内外已经有很多不错的资料，比如国外作者JayAlammar的一篇图解Transformer：TheIllustratedTransformer.本文基本上可以认为是对这几篇文章在内的学习笔记(配图也基本上都来自文末的参考文献)，但本篇笔记
机器学习社区·2023-11-29 05:31

Transformer——seq2seq的模型

内容来源于李宏毅2021/2022春机器学习课程p49-50seq2seq一般由Encoder和Decoder组成在Encoder进行输入，在Decoder输出结果Encoder(给一排向量，输出一排向量
bolite·2023-11-28 01:08

序列模型懒人简介（RNN、Seq2Seq、LSTM、GRU、Transformer）

Seq2Seq结构，采取了两个RNN结构，一个作为解码器encoder，一个作为编码器decoder。解码器将序列数据转化为
Rulcy·2023-11-27 20:49

NLP | Seq2Seq，Encoder-Decoder图文详解及代码

在本文中，概述序列到序列模型，这些模型在机器翻译，视频字幕，图像字幕，问答等不同任务中使用。1.SequencetoSequence序列到序列1.1.序列建模问题序列建模问题是指输入和/或输出是一系列数据（单词，字母...等）考虑一个非常简单的问题，即预测电影评论是正面的还是负面的。在这里，我们的输入是一个单词序列，输出是0到1之间的单个数字。如果我们使用传统的DNN，那么我们通常必须使用BOW、
夏天｜여름이다·2023-11-27 20:49

音视频序列数据分析（RNN-＞seq2seq-＞Encoder+Decoder-＞Attention-＞Transformer）

2.Seq2Seq(即Encoder+Decoder结构)seq2seq，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LS
Janie.Wei·2023-11-27 20:48

[转] 图解Seq2Seq模型、RNN结构、Encoder-Decoder模型 到 Attention

from:https://caicai.science/2018/10/06/attention%E6%80%BB%E8%A7%88/一、Seq2Seq模型1.简介Sequence-to-sequence
weixin_34101784·2023-11-27 20:18

详解从 Seq2Seq模型、RNN结构、Encoder-Decoder模型 到 Attention模型

from:https://caicai.science/2018/10/06/attention%E6%80%BB%E8%A7%88/一、Seq2Seq模型1.简介Sequence-to-sequence
qq_38573437·2023-11-27 19:47

Encoder-Decoder模型

这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。
我是一只的猪·2023-11-27 19:17

【RNN】剖析RNN 之 从RNN-(Simple|LSTM) 到 序列生成 再到 seq2seq框架（encoder-decoder，或称为seq2seq）

前言最近在搞一个多标签分类的项目，发现多标签分类问题中的多标签难点可以转化为序列生成问题（如下图，引自论文《EnsembleApplicationofConvolutionalandRecurrentNeuralNetworksforMulti-labelTextCategorization》[1]），论文中思想讲的很透彻，图也一目了然，但是RNN的具体实现上还是要自己搞清楚，因此这个思考过程整个
Tobi_Obito·2023-11-27 19:47

RNN/LSTM/GRU/seq2seq公式推导

概括：RNN适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM和GRU采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM和GRU被广泛地应用到语音识别、语音合成和自然语言处理等。1.RNNRNN会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。因此，如果你正在尝试处理一段文本进行预测，RNN可能从一开始就会遗漏重要信息。
dili8870·2023-11-27 19:47

RNN（包括GRU和LSTM）和其他seq2seq/encoder-decoder模型

接着，本文将转向序列到序列（seq2seq）模型的讨论。Seq2se
诸神缄默不语·2023-11-27 19:46

百面深度学习-自然语言处理

以下是主要的结构变化及其解决的问题：序列到序列（Seq2Seq）模型：结构：基于循环神经网络（RNN）
jieHeEternity·2023-11-27 14:44

时间序列深度学习：seq2seq 模型预测太阳黑子

作者：徐瑞龙，量化分析师，R语言中文社区专栏作者博客专栏：https://www.cnblogs.com/xuruilong100本文翻译自《TimeSeriesDeepLearning,Part2:PredictingSunspotFrequencyWithKerasLstminR》，略有删减。深度学习于商业的用途之一是提高时间序列预测的准确性。之前的教程显示了如何利用自相关性预测未来10年的月
R语言中文社区·2023-11-27 12:06

【注意力机制】学习

文章目录前言一、Encoder-Decoder（一）作用（二）实现框架Encoder：Decoder（三）基于seq2seq模型的编码与解码方法1弊端：方法2以上两种方式的弊端二、AttentionModel
SDsqx6·2023-11-27 11:09

【动手学深度学习v2】注意力机制—4 Transformer

Maskedmulti-headattention基于位置的前馈网络PositionwiseFFN残差+层归一化Add&Norm信息传递预测总结参考系列文章模型基于编码器-解码器架构处理序列对；跟使用注意力的seq2seq
Hannah2425·2023-11-26 09:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他