seq2seq

【深度学习】循环神经网络（RNN）：序列建模的奠基者

2.3长短期记忆网络（LSTM）2.4门控循环单元（GRU）三、模型评估：序列建模的评判标准3.1通用评估指标3.2性能对比（PennTreebank数据集）四、应用案例：改变人机交互方式4.1机器翻译（Seq2Seq

白熊188·2025-06-20 08:25

机器翻译模型笔记

框架：Seq2Seq（序列到序列）模型。2.数据预处理2.1下载数据数据集：TED2020（英文-简体中文对齐的平行语料）。

D11PMINDER·2025-06-05 10:21

Transformer机器翻译模型（代码实现案例）

目标了解有关机器翻译的知识了解seq2seq架构使用Transformer构建机器翻译模型的实现过程1Transformer架构Transformer模型架构分析Transformer模型架构,大范围内包括两部分分别是

山山而川_R·2025-06-03 09:11

《Python星球日记》第70天：Seq2Seq 与Transformer Decoder

——屈原《离骚》创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder）目录一、Seq2Seq模型基础1.什么是Seq2Seq模型？

Code_流苏·2025-05-15 19:47

藏语英语中文机器翻译入门实践

基于深度学习的方法（当前主流）：序列到序列（Seq2Seq）模型：将源语言序列转换为目标

山海青风·2025-05-02 21:34

PyTorch 深度学习实战（38）：注意力机制全面解析（从Seq2Seq到Transformer）

本文将深入解析注意力机制的完整发展历程，从最初的Seq2Seq模型到革命性的Transformer架构。我们将使用PyTorch实现2个关键阶段的注意力机制变体，并在机器翻译任务上进行对比实验。

进取星辰·2025-04-19 18:16

Seq2Seq - 编码器（Encoder）和解码器（Decoder）

本节实现一个简单的Seq2Seq（SequencetoSequence）模型的编码器（Encoder）和解码器（Decoder）部分。

风筝超冷·2025-04-17 20:16

seq2seq编码器encoder和解码器decoder详解

编码器在序列到序列模型中，编码器将输入序列（如一个句子）转换为一个隐藏状态序列，供解码器生成输出。编码层通常由嵌入层和RNN（如GRU/LSTM)等组成，一个token就是一个时间步Token:是模型处理文本时的基本单元，可以是词,子词,字符等，每个token都有一个对应的ID。是由原始文本中的词或子词通过分词器（Tokenizer）处理后得到的最小单位，这些token会被映射为词汇表中的唯一索引

TunnyLand·2025-04-11 22:52

【机器学习300问】130、什么是Seq2Seq？又叫编码器（Encoder）和解码器（Decoder）。

Seq2Seq，全称为SequencetoSequence，是一种用于处理序列数据的神经网络模型，特别适用于如机器翻译、语音识别、聊天机器人等需要将一个序列转换为另一个序列的任务。

小oo呆·2025-04-11 22:22

Seq2Seq - CrossEntropyLoss细节讨论

在PyTorch中，损失函数CrossEntropyLoss的输入参数通常需要满足特定的形状要求。对于CrossEntropyLoss，输入参数的形状要求如下：input：模型的输出，形状为[N,C]，其中：N是样本数量（或展平后的序列长度）。C是类别数量（目标词汇表的大小）。target：目标标签，形状为[N]，其中每个元素是一个类别索引（整数）。在上一节的代码中：loss=loss_fn(si

风筝超冷·2025-04-09 19:07

【自然语言处理】Encoder-Decoder架构

这个架构最初是为了解决序列到序列（Seq2Seq）任务，尤其是机器翻译问题。该架构使用了基于RNN（尤其是LSTM）的编码器和解码器结构：编码器（Encoder）：将输入序列（如句子

藓类少女·2025-04-06 15:33

Encoder-Decoder 编码器-解码器架构（Seq2Seq Model）

已经生成)的词元来预测下一个词元在编码器中使用作为序列开始的词元，在训练过程中使用TeacherForce策略进行训练即基于正确的输入进行训练Encoder编码器最终的隐状态用于初始化解码器的隐状态(Seq2Seq

SpaceSunflower·2025-04-06 15:32

常见的encoder decoder架构有哪些

Seq2Seq：经典的序列到序列

强化学习曾小健·2025-04-06 14:02

RNN，LTSM和GRU原理

（一）tensorflow入门笔记（二）RNN，LSTM和GRU原理（三）attention机制（四）seq2seq实例详解##RNNRNN主要用来处理当样本是一定时间序列的情况，例如一段语音，一串文本等等

thormas1996·2025-04-06 01:31

Python 深度学习实战：聊天机器人

Python深度学习实战：聊天机器人关键词：Python、深度学习、聊天机器人、Seq2Seq、注意力机制、Transformer1.背景介绍近年来，随着人工智能技术的飞速发展，聊天机器人（Chatbot

AI天才研究院·2025-03-30 23:59

人工智能（10）——————自然语言处理

比如机器学习可以引入到自然语言处理，计算机视觉等多个类别当中，而自然语言处理中特有的seq2seq方法也可以用于机器学习当中。但是根本上这些类别都存在自己独有之处。自然语言处

長安一片月·2025-03-28 23:52

seq2seq推理模块设计

代码：#loadcheckpoints,如何上线model=Sequence2Sequence(len(src_word2idx),len(trg_word2idx))model.load_state_dict(torch.load(f"./best.ckpt",weights_only=True,map_location="cpu"))classTranslator:def__init__(se

何仙鸟·2025-03-13 18:40

Python机器学习实战：构建序列到序列(Seq2Seq)模型处理翻译任务

Python机器学习实战：构建序列到序列(Seq2Seq)模型处理翻译任务1.背景介绍1.1问题的由来翻译是跨语言沟通的重要桥梁，随着全球化进程的加速，翻译需求日益增长。

AGI大模型与大数据研究院·2025-03-11 09:03

别只会用别人的模型了，自学Ai大模型，顺序千万不要搞反了！刚入门的小白必备！

一、前置阶段数学：线性代数、高等数学自然语言处理：Word2Vec、Seq2SeqPython：Pyotch、Tensorflow二、基

ai大模型应用开发·2025-03-05 12:27

【PYTORCH】官方的turoria实现中英文翻译

参考https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html背景pytorch官方的是seq2seq是法语到英文

liwulin0506·2025-02-17 20:54

第N11周：seq2seq翻译实战-Pytorch复现

文章目录一、前期准备1.搭建语言类2.文本处理函数3.文件读取函数二、Seq2Seq模型1.编码器（encoder）2.解码器（decoder）三、训练1.数据预处理2.训练函数3.评估四、评估与训练1

计算机真好丸·2025-02-17 07:57

四、自然语言处理_08Transformer翻译任务案例

0、前言在Seq2Seq模型的学习过程中，做过一个文本翻译任务案例，多轮训练后，效果还算能看Transformer作为NLP领域的扛把子，对于此类任务的处理会更为强大，下面将以基于Transformer

学不会lostfound·2025-02-12 08:53

Bahdanau 注意力

Bahdanau注意力（AdditiveAttention）Bahdanau注意力，也被称为加性注意力（AdditiveAttention），是一种广泛用于序列到序列（Seq2Seq）模型中的注意力机制

彬彬侠·2025-02-11 21:29

深度学习的文本生成：从seq2seq到GPT2和GPT3

文章目录1.背景介绍1.1序列到序列（seq2seq）模型1.1.1编码器1.1.2解码器1.1.3训练1.2Transformer模型1.2.1自注意力机制1.2.2位置编码1.2.3多头注意力1.2.4

AI天才研究院·2025-02-08 11:33

Transformer预测模型及其Python和MATLAB实现

###一、背景在自然语言处理（NLP）领域，传统的序列到序列（Seq2Seq）模型大多依赖于循环神经网络（RNN）和长短期记忆（LSTM）网络。

追蜻蜓追累了·2025-02-04 03:10

柳暗花明又一村：Seq2Seq编码器解码器架构

Seq2Seq,编码器-解码器,自然语言处理,机器翻译,文本生成,循环神经网络,长短期记忆网络1.背景介绍在人工智能领域，自然语言处理(NLP)始终是研究的热点之一。

AI大模型应用之禅·2025-02-02 15:29

注意力机制

1.Seq2Seq模型加入注意力机制1.1Seq2Seq模型编码器：将长度可变的输入序列转换成形状固定的上下文变量c,并将输入序列的信息在该上下文变量中进行编码。

追光少年3322·2025-02-01 19:33

自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

文章目录前言一、Seq2Seq1.1Seq2Seq的基本架构1.2Seq2Seq的框架实例二、Transformer2.1Transformer的整体架构2.2Transformer的输入2.2.1InputEmbeding2.2.2PositionalEncoder2.2.3Transformer

这个男人是小帅·2025-02-01 18:33

Transformer模型结构分析：Encoder、Decoder以及注意力机制详解

作者：禅与计算机程序设计艺术1.简介Transformer模型由论文[1]提出，其基本思想是使用注意力机制代替循环神经网络(RNN)或卷积神经网络(CNN)，是一种基于序列到序列(Seq2seq)的机器翻译

AI天才研究院·2025-02-01 04:59

NLP模型大对比：Transformer ＞Seq2Seq ＞ LSTM ＞ RNN ＞ n-gram

结论Transformer大于传统的Seq2Seq大于LSTM大于RNN大于传统的n-gramn-gramVSTransformer我们可以用一个图书馆查询的类比来解释它们的差异：一、核心差异对比维度n-gram

feifeikon·2025-01-31 19:14

时间序列预测综述

文章目录非周期时间序列预测1.转化为监督学习数据集，使用xgboot/LSTM模型/时间卷积网络/seq2seq(attention_based_model)2.Facebook-prophet，类似于

Super_Whw·2025-01-22 05:48

NLP-语义解析(Text2SQL)：技术路线【Seq2Seq、模板槽位填充、中间表达、强化学习、图网络】

目前关于NL2SQL技术路线的发展主要包含以下几种:Seq2Seq方法：在深度学习的研究背景下,很多研究人员将Text-to-SQL看作一个类似神经机器翻译的任务,主要采取Seq2Seq的模型框架。

u013250861·2025-01-17 21:43

深度探索：机器学习中的序列到序列模型（Seq2Seq）原理及其应用

目录1.引言与背景2.庞特里亚金定理与动态规划3.算法原理4.算法实现5.优缺点分析优点缺点6.案例应用7.对比与其他算法8.结论与展望1.引言与背景在当今信息爆炸的时代，机器学习作为人工智能领域的核心驱动力，正以前所未有的深度和广度渗透进我们的日常生活。从语言翻译、文本摘要、语音识别到对话系统，众多自然语言处理（NLP）任务的成功解决离不开一种强大的模型架构——序列到序列（Sequence-to

生瓜蛋子·2024-09-01 08:22

Transformer总结(二)：架构介绍（从seq2seq谈到Transformer架构）

文章目录一、seq2seq应用介绍二、编码器解码器架构2.1流程介绍2.2原理说明三、Transformer整体结构和处理流程3.1Attention机制在seq2seq中的引入3.2比较RNN与自注意力

胡牧之.·2024-08-23 10:19

机器学习--序列到序列模型总结

序列到序列（Seq2Seq）模型的发展历程中，随着技术的进步和研究的深入，出现了多种不同的架构。这些架构在编码器-解码器结构的基础上逐步演化，融合了多种改进策略和创新方法。

Ambition_LAO·2024-08-22 14:53

计算机设计大赛深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分

iuerfee·2024-03-07 20:46

从时间序列中提取特征的几种方法

文章目录方法概述可能有用的轮子Referenceseealso方法概述形状特征：DTW、shapelets、CNN时间依赖特征：循环神经网络（LSTM、GRU）、反馈网络序列变换特征：自动编码、seq2seq

千行百行·2024-02-20 08:26

transformer-Attention is All You Need（一）

相较于seq2seq结构每个时间步的输出需要依赖于前面时间步的输出，这使得模型没有办法并行，效率低，面临对齐问

liaolaa·2024-02-20 04:18

[模型学习]Transformer机制及其过程

Transformer的基本结构Transformer模型结构与seq2seq模型类似，Transformer是一种编码器-解码器结构的模型Transformer的过程——编码器(Encoder)Encoder

Amigo_5610·2024-02-20 04:46

基于seq2seq的SKchat语言模型

SKchat语言模型是由小思框架开放的中文语言模型，基于seq2seq以及word2vec。v3模型的对话功能界面~在代码方面，我们优化了seq2seq算法，降低了内存的占用，并构建了新的模型。

eric-sjq·2024-02-19 20:16

NLP_自然语言处理项目(2)：seq2seq_attention_机器翻译（基于PyTorch）

1、seq2seq_attention_机器翻译seq2seq_attention是一种基于神经网络的机器翻译模型，它通过编码器和解码器两个部分实现翻译功能。

@硬train一发·2024-02-19 18:56

【自然语言处理】seq2seq模型—机器翻译

xuetangx.com)代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~案例简介seq2seq

X.AI666·2024-02-19 18:15

Seq2seq模型以及Beam Search

seq2seq模型及BeamsearchSeq2Seq是一个Encoder-Deocder结构的模型，输入是一个序列，输出也是一个序列。

非洲小可爱·2024-02-15 08:45

Seq2Seq模型中的集束搜索(Beam Search)

1.引入用Seq2Seq模型开发翻译系统时，假设输入一句法语，输出英文。在Decoder输出部分，选择不同的单词，输出（翻译）的结果也会不同。

ybdesire·2024-02-15 08:45

Beam Search

【在图上：绿色箭头代表的概率大于红色箭头代表的概率】Beamsearch的又被称作束集搜索，是一种seq2seq中用来优化输出结果的算法(不在训练过程中使用)。

IT之一小佬·2024-02-15 08:44

束集搜索（Beam search）

在seq2seq任务重，传统的获取decoder输出的结果过程中，在每一个时间步上，我们只选择概率最大的那个词，作为当前时间步的输出，即在每一个时间步上我们取到的都是最大概率的词。

liaolaa·2024-02-15 08:14

如何在我们的模型中使用Beam search

根据对Beamsearch的大致流程我们已经清楚了，在这我们来具体实现一下Beamsearch并应用在我们的seq2seq任务中。1.python中的堆（heapq）堆是一种特殊的树形数据结构。

liaolaa·2024-02-15 08:12

huggingface pipeline使用模型THUDM/chatglm3-6b

fromtransformersimportAutoTokenizer,AutoModelfromtransformersimportAutoModelForSeq2SeqLMfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token

hehui0921·2024-02-13 09:36

使用模型bigscience/mt0-large实现中文到英文的翻译

AutoModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportAutoModelForSeq2SeqLM