Seq2seq

深度探索：机器学习中的序列到序列模型（Seq2Seq）原理及其应用

目录1.引言与背景2.庞特里亚金定理与动态规划3.算法原理4.算法实现5.优缺点分析优点缺点6.案例应用7.对比与其他算法8.结论与展望1.引言与背景在当今信息爆炸的时代，机器学习作为人工智能领域的核心驱动力，正以前所未有的深度和广度渗透进我们的日常生活。从语言翻译、文本摘要、语音识别到对话系统，众多自然语言处理（NLP）任务的成功解决离不开一种强大的模型架构——序列到序列（Sequence-to
生瓜蛋子·2024-09-01 08:22

Transformer总结(二)：架构介绍（从seq2seq谈到Transformer架构）

文章目录一、seq2seq应用介绍二、编码器解码器架构2.1流程介绍2.2原理说明三、Transformer整体结构和处理流程3.1Attention机制在seq2seq中的引入3.2比较RNN与自注意力
胡牧之.·2024-08-23 10:19

机器学习--序列到序列模型总结

序列到序列（Seq2Seq）模型的发展历程中，随着技术的进步和研究的深入，出现了多种不同的架构。这些架构在编码器-解码器结构的基础上逐步演化，融合了多种改进策略和创新方法。
Ambition_LAO·2024-08-22 14:53

计算机设计大赛 深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
iuerfee·2024-03-07 20:46

从时间序列中提取特征的几种方法

文章目录方法概述可能有用的轮子Referenceseealso方法概述形状特征：DTW、shapelets、CNN时间依赖特征：循环神经网络（LSTM、GRU）、反馈网络序列变换特征：自动编码、seq2seq
千行百行·2024-02-20 08:26

transformer-Attention is All You Need（一）

相较于seq2seq结构每个时间步的输出需要依赖于前面时间步的输出，这使得模型没有办法并行，效率低，面临对齐问
liaolaa·2024-02-20 04:18

[模型学习]Transformer机制及其过程

Transformer的基本结构Transformer模型结构与seq2seq模型类似，Transformer是一种编码器-解码器结构的模型Transformer的过程——编码器(Encoder)Encoder
Amigo_5610·2024-02-20 04:46

基于seq2seq的SKchat语言模型

SKchat语言模型是由小思框架开放的中文语言模型，基于seq2seq以及word2vec。v3模型的对话功能界面~在代码方面，我们优化了seq2seq算法，降低了内存的占用，并构建了新的模型。
eric-sjq·2024-02-19 20:16

NLP_自然语言处理项目(2)：seq2seq_attention_机器翻译（基于PyTorch）

1、seq2seq_attention_机器翻译seq2seq_attention是一种基于神经网络的机器翻译模型，它通过编码器和解码器两个部分实现翻译功能。
@硬train一发·2024-02-19 18:56

【自然语言处理】seq2seq模型—机器翻译

xuetangx.com)代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~案例简介seq2seq
X.AI666·2024-02-19 18:15

Seq2seq模型以及Beam Search

seq2seq模型及BeamsearchSeq2Seq是一个Encoder-Deocder结构的模型，输入是一个序列，输出也是一个序列。
非洲小可爱·2024-02-15 08:45

Seq2Seq模型中的集束搜索(Beam Search)

1.引入用Seq2Seq模型开发翻译系统时，假设输入一句法语，输出英文。在Decoder输出部分，选择不同的单词，输出（翻译）的结果也会不同。
ybdesire·2024-02-15 08:45

Beam Search

【在图上：绿色箭头代表的概率大于红色箭头代表的概率】Beamsearch的又被称作束集搜索，是一种seq2seq中用来优化输出结果的算法(不在训练过程中使用)。
IT之一小佬·2024-02-15 08:44

束集搜索（Beam search）

在seq2seq任务重，传统的获取decoder输出的结果过程中，在每一个时间步上，我们只选择概率最大的那个词，作为当前时间步的输出，即在每一个时间步上我们取到的都是最大概率的词。
liaolaa·2024-02-15 08:14

如何在我们的模型中使用Beam search

根据对Beamsearch的大致流程我们已经清楚了，在这我们来具体实现一下Beamsearch并应用在我们的seq2seq任务中。1.python中的堆（heapq）堆是一种特殊的树形数据结构。
liaolaa·2024-02-15 08:12

huggingface pipeline使用模型THUDM/chatglm3-6b

fromtransformersimportAutoTokenizer,AutoModelfromtransformersimportAutoModelForSeq2SeqLMfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token
hehui0921·2024-02-13 09:36

使用模型bigscience/mt0-large实现中文到英文的翻译

AutoModelfromhuggingface_hub.hf_apiimportHfFolderHfFolder.save_token('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')fromtransformersimportAutoModelForSeq2SeqLM
hehui0921·2024-02-13 09:36

NLP_引入注意力机制

文章目录点积注意力创建两个张量x1和x2计算张量点积，得到原始权重对原始权重进行归一化求出注意力分布的加权和缩放点积注意力编码器-解码器注意力定义Attention类重构Decoder类重构Seq2Seq
you_are_my_sunshine*·2024-02-10 06:34

NLP_Seq2Seq编码器-解码器架构

文章目录Seq2Seq架构构建简单Seq2Seq架构1.构建实验语料库和词汇表2.生成Seq2Seq训练数据3.定义编码器和解码器类4.定义Seq2Seq架构5.训练Seq2Seq架构6.测试Seq2Seq
you_are_my_sunshine*·2024-02-08 09:53

Vision Transformer及其变体（自用）

Transformer0.1encoder在正式开始ViT之前，先来复习一遍transformer的核心机制相关的文章有很多，我选了一遍最通俗易懂的放在这：Transformer通俗笔记：从Word2Vec、Seq2Seq
ST-Naive·2024-02-07 10:35

transformer的分解

transformer基于attention,解决的是seq2seq的问题。
不分享的知识毫无意义·2024-02-06 06:18

Pytorch学习记录-卷积Seq2Seq（模型训练）

Pytorch学习记录-torchtext和Pytorch的实例50.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2024-02-06 03:47

【文本到上下文 #8】NLP中的变形金刚：解码游戏规则改变者

在我们之前对seq2seq模型、编码器-解码器框架和注意力机制的讨论之后，我们现在开始了解Transformer如何彻底改变语言任务的方法。  
无水先生·2024-02-03 20:22

seq2seq编码器-解码器实现

对于这种输入和输出不等长的序列，我们采用seq2seq（sequencetosequence）模型解决。
liaolaa·2024-02-03 07:54

Seq2SeqTrainer与Trainer的区别

`Seq2SeqTrainer`和`Trainer`是HuggingFaceTransformers库中用于训练模型的两个类。它们之间的主要区别在于它们针对的任务类型和模型架构的不同。
andeyeluguo·2024-02-02 02:29

面试了字节大模型算法岗(实习)，快被问哭了。。。。

传统的seq2seq模型使用循环神经网络（RN
深度学习算法与自然语言处理·2024-02-02 01:59

实用工具介绍

1自动对联系统1.1王斌开发的seq2seq声称是从网上抓了几百万的对联数据，用seq2seq模型做了这个系统。
夏威夷的芒果·2024-02-01 09:28

大创项目推荐 题目：基于深度学习的中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
laafeer·2024-01-30 20:17

(转载)Seq2SeqModel参数

训练数据和预处理数据集是电影剧本中的对话，我们首先需要做一些预处理以获得正确的数据格式。切字分词使用结巴分词。移除低频词代码中，用vocabulary_size限制词表的大小。用UNK代替不包括在词表中的单词。例如，单词“非线性”不在词表中，则句子“非线性在神经网络中是重要的”变成“UNK在神经网络中是重要的”。准备开始和结束标签以及填充标签在decoder端，GO表示解码开始，用EOS表示解码结
walk walk·2024-01-28 15:49

【文本到上下文 #7】探索 NLP 中的 Seq2Seq、编码器-解码器和注意力机制

一、说明今天，我们将探讨序列到序列（seq2seq）模型的复杂工作原理，特别关注编码器-解码器架构和注意力机制。这些概念是各种NLP应用的基础，从机器翻译到问答系统。
无水先生·2024-01-28 12:43

深度学习（6）---Transformer

2.3Decoder(解码器)三、Encoder和Decoder之间的传递四、Training五、其他介绍5.1CopyMechanism5.2BeamSearch一、介绍 1.Transformer是一个Seq2Seq
冒冒菜菜·2024-01-26 06:36

Python 什么是点积注意力机制；点击注意力机制代码实现；Dot-Product Attention代码实战；超详细代码实现点积注意力

1.点积注意力机制简介点积注意力机制（Dot-ProductAttention）是一种常用的注意力机制之一，通常与Seq2Seq模型中的自注意力（Self-Attention）机制一起使用。
医学小达人·2024-01-24 11:56

python Seq2Seq模型源码实战，超详细Encoder-Decoder模型解析实战；早期机器翻译模型源码demo

1.Seq2Seq（Encoder-Decoder）模型简介Seq2Seq（Encoder-Decoder）模型是一种常用于序列到序列（sequence-to-sequence）任务的深度学习模型。
医学小达人·2024-01-24 11:55

学习笔记之 机器学习之预测雾霾

文章目录Encoder-DecoderSeq2Seq(序列到序列）Encoder-Decoder基础的Encoder-Decoder是存在很多弊端的，最大的问题就是信息丢失。
JNU freshman·2024-01-23 03:12

什么时候需要DataCollator以及一些常见的DataCollator

DataCollatorForSeq2Seq:Datacoll
鱼鱼9901·2024-01-22 02:09

开创性论文Attention Is All You Need 注意力机制（Attention Mechanism） Transformer模型

下面是对这篇论文核心内容的简介：传统模型的局限性：在这篇论文之前，序列到序列（seq2seq）的任务（如机器翻译）通常依赖于循环
小黄人软件·2024-01-20 06:08

NLP | 自然语言处理经典seq2seq网络BERT详解及代码

2019论文：BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingBERT：用于语言理解的深度双向变换器的预训练论文地址：https://arxiv.org/abs/1810.048051.BERT概述BERT是Transformers双向编码器表示的缩写，是一种用于自然语言处理的机器学习(ML)模型。它由
夏天｜여름이다·2024-01-19 17:54

CNN/DailyMail训练文本摘要模型

以下是使用TFDS加载数据集并训练一个简单的序列到序列(seq2seq)模型的过程。
朱雀333·2024-01-19 12:23

X-former:不止一面，你想要的Transformer这里都有

其最初是针对seq2seq的机器翻译模型而设计的，在后续的其他工作中，以Transformer为
NLP论文解读·2024-01-19 08:46

大创项目推荐 深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
laafeer·2024-01-18 09:11

指针网络-Pointer Networks

今天分享一个简单而又有趣的seq2seq模型-PointerNetworks。
l1n3x·2024-01-17 13:40

NLP论文阅读记录 - 2021 | WOS01 通过对比学习增强 Seq2Seq 自动编码器进行抽象文本摘要

本文贡献二.相关工作三.本文方法A文档增强B.自我监督对比学习C.序列到序列架构四实验效果4.1数据集4.2对比模型4.3实施细节4.4评估指标4.5实验结果4.6细粒度分析五总结前言EnhancedSeq2SeqAutoencoderviaContrastiveLearningforAbstractiveTextSummar
yuyuyu_xxx·2024-01-15 17:11

NLP论文阅读记录 - 2021 | WOS 使用深度强化学习及其他技术进行自动文本摘要

文章目录前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献二.相关工作2.1.Seq2seq模型2.2.强化学习和序列生成2.3.自动文本摘要三.本文方法四实验效果
yuyuyu_xxx·2024-01-15 02:57

论文阅读 Attention is all u need - transformer

文章目录1摘要1.1核心2模型架构2.1概览2.2理解encoder-decoder架构2.2.1对比seq2seq，RNN2.2.2我的理解3.Sublayer3.1多头注意力multi-headself-attention3.1.1
highoooo·2024-01-09 20:00

【机器学习】循环神经网络（四）-应用

结构循环神经网络与CTC技术结构用于语音识别问题六、自然语言处理RNN-LM建模方法6.1中文分词6.2词性标注6.3命名实体识别详述LSTM+CRF进行命名实体识别的方法6.4文本分类6.5自动摘要6.6机器翻译seq2seq
十年一梦实验室·2024-01-09 11:36

2024.1.7周报

模型架构4、文献解读一、Introduction二、创新点三、实验过程四、结论二、深度学习知识一、从Encoder-Decoder框架中理解为什么要有Attention机制二、Attention思想三、Seq2Seq
Nyctophiliaa·2024-01-08 14:03

第二、三周周报12.17.2022-12.25.2022

RNN模型的数学基础，原理，用pytorch跑了一下RNN，对于如何使用RNN模型有了一定的了解目录图片爬虫：acjsonseleniumNLP语音辨识TOKEN获取声学特征一些数据集尺度语音辨识常见模型seq2seqHMMRNN
weixin_51054833·2024-01-08 06:10

机器学习周报第十六周

目录摘要Abstract一、循环神经网络1.1词嵌入1.2嵌入矩阵1.3学习词嵌入1.4Word2Vec二、序列模型和注意力机制2.1seq2seq（sequencetosequence）模型2.2注意力模型直观理解总结摘要词嵌入
Ramos_zl·2024-01-08 06:32

机器学习周报第九周

目录摘要Abstract一、循环神经网络1.存在的问题二、RNN的应用三、transformer3.1seq2seq四、线性模型五、softmax回归总结摘要RNN通过引入门控机制（如LSTM和GRU）
Ramos_zl·2024-01-08 06:02

第三十八周周报：文献阅读 +BILSTM+GRU+Seq2seq

耦合模型XGBoost算法编辑LSTM（长短期记忆网络）耦合模型研究实验数据集评估指标研究目的洪水深度预测实验结果LSTM变体BidirectionalLSTM（双向LSTM）GRU（门循环控制单元）Seq2seq
m0_66015895·2024-01-08 06:01
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他