Seq2seq 第4页

Joint Copying and Restricted Generation for Paraphrase

问题大多数seq2seq模型忽视了很多自然语言生成任务是有方向性的。

rzhangpku·2023-10-09 07:26

计算机竞赛题目：基于深度学习的中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分

Mr.D学长·2023-10-08 15:16

NLP实战7--seq2seq实现3（pytorch）/decoder实现

传送门(6条消息)NLP实战5--seq2seq实现1（pytorch）_m0_53292725的博客-CSDN博客(6条消息)NLP实战6--seq2seq实现2（pytorch）/encoder实现

Lyttonkeepgoing·2023-10-06 20:51

《Attention Is All You Need》论文笔记

参考文献：李沐论文带读HarvardNLP《哈工大基于预训练模型的方法》下面是对这篇论文的初步概览：对Seq2Seq模型、Transformer的概括：下面是蒟蒻在阅读完这篇论文后做的一些笔记：为什么会出现

卷心菜不卷Iris·2023-10-06 17:43

大佬博客记录

Transformer系列博客记录全Transformer拆解，包含Seq2Seq,attention,self-attention,multi-headedattention,PositionalEncoding

BoringFantasy·2023-10-06 15:56

Transformer学习

这里写目录标题Seq2Seq语音翻译为何不直接用语音辨识+机器翻译？

王小燊oom·2023-10-05 23:21

论文笔记 Unified Language Model Pre-training for Natural Language Understanding and Generation

UNILM是一个多层Transformer网络，使用三种类型的语言建模任务进行预训练:单向(包括l-to-r和r-to-l)、双向和seq2seq预测。

RunningQzh·2023-10-04 01:56

复习：Seq2Seq、Transformer、GPT

ref.https://zhuanlan.zhihu.com/p/360932588https://zhuanlan.zhihu.com/p/611472975目录2014年-Seq2Seq模型2015

Citroooon·2023-09-30 05:54

【Transformer系列】深入浅出理解Attention和Self-Attention机制

本章节以Seq2Seq（(encoder+decoder)）模型为例，介绍Attention机制。0.Attention直观理解1.

花花少年·2023-09-27 21:22

指针网络 Pointer Network

传统的Seq2Seq模型中Decoder输出的目标数量是固定的，例如翻译时Decoder预测的目标数量等于字典的大小。

NLP与人工智能·2023-09-26 00:17

Pytorch学习记录- 训练GRU Seq2Seq（论文再读）

对Pytorch的Seq2Seq这6篇论文进行精读，第二篇，Cho,K.,etal.,LearningPhraseRepresentationsusingRNNEncoder-DecoderforStatisticalMachineTranslation

我的昵称违规了·2023-09-24 03:46

【NLP】Transformer模型原理详解

高斯纯牛奶·2023-09-23 13:42

论文笔记：MTrajRec: Map-Constrained Trajectory Recovery via Seq2SeqMulti-task Learning

2021KDD1intro1.1背景现实中低采样率的轨迹十分常见以出租车为例，为了节约设备的通信成本，通常每2-6分钟才会上报一个位置信息——>这导致收集到的轨迹数据十分稀疏为了更好地挖掘低采样率的轨迹，一个直接的方式是先将低采样率轨迹在自由空间上恢复至高采样率，而后再将恢复的轨迹匹配至路网上，以支持后续的应用服务然而两步走的做法很可能会导致误差累积自由空间上的轨迹恢复可能会导致后续地图匹配选错路

UQI-LIUWJ·2023-09-22 21:47

翻译：seq2seq model in Machine Learning

原文链接：seq2seqmodelinMachineLearningseq2seq首次被谷歌引用是用于机器翻译。在那之前的翻译方式十分朴素。敲入的每个单词会被忽视语法和上下文直接转换成目标语言。

CSU迦叶·2023-09-22 21:47

机器学习笔记：seq2seq & attentioned seq2seq

1Seq2Seq1.1介绍对于序列对，我们的目标是给定输入序列X，期待通过Encoder-Decoder框架来生成目标序列YEncoder对输入的序列X进行编码，将输入序列通过非线性变换转化为中间语义表示

UQI-LIUWJ·2023-09-22 21:16

Transformer

什么是TransformerTransformer是基于Self-attention注意力机制的一种网络结构，同时其网络结构也沿用了seq2seq的主体结构，由Encoder-Decoder流程组成，包含了

大鱼奔大江·2023-09-20 02:27

口语理解任务源码详解系列（三）利用BiRNN-attention模型实现

利用RNN-attention模型实现写在前面在前文介绍了项目的数据集构建：传送门，以及利用seq2seq-attention模型实现意图分类与槽位填充任务：传送门本文利用BiRNN-attention

敷衍zgf·2023-09-18 12:58

英文名字叫dawntown·2023-09-17 18:34

Python：使用pycorrector处理错字、纠正

pycorrector实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评估各模型的效果。

玩转测试开发·2023-09-17 09:07

神经网络-Unet网络

文章目录前言1.seq2seq编码后解码2.网络结构3.特征融合4.前言Unet用来做小目标语义分割。优点：网络结构非常简单。大纲目录2016年特别火，在细胞领域做分割特别好。

泰勒朗斯·2023-09-15 05:03

NLP-生成模型-2017-PGNet：Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题；Copy机制解决解码端OOV问题】【抽取式+生成式】

PGNet模型训练注意事项：Coverage机制要在训练的最后阶段再加入（约占总训练时间的1％），如果从刚开始训练时就加入则反而影响训练效果；Copy机制在源文本的各个单词上的概率分布直接使用Attention机制计算的在源文本的各个单词上的概率分布；一、概述随着互联网飞速发展，产生了越来越多的文本数据，文本信息过载问题日益严重，对各类文本进行一个“降维”处理显得非常必要，文本摘要便是其中一个重要

u013250861·2023-09-14 11:29

【深度学习-seq2seq模型-附实现机器翻译的核心代码】

深度学习深度学习-seq2seq模型什么是seq2seq模型应用场景架构编码器解码器训练&预测损失预测评估BLEUBELU背后的数学意义模型参考论文深度学习-seq2seq模型本文的网络架构模型参考Sutskeveretal

y_dd·2023-09-13 23:22

【深度学习-注意力机制attention 在seq2seq中应用】

注意力机制为什么需要注意力机制attention机制的架构总体设计一、attention本身实现评分函数attention在网络模型的应用-Bahdanau注意力加性注意力代码实现为什么需要注意力机制这是一个普通的seq2seq

y_dd·2023-09-13 23:49

pytorch中的seq2seq的人们国籍分类的示例

原来之前关于seq2seq不明白的地方这里都进行了对应的讲解02用字符级别的循环神经网络来判断一个人的名字是哪个国家的常用名-知乎(zhihu.com)请认真研读这一篇文章,这里面有些地方还是有些陈旧的

诚威_lol_中大努力中·2023-09-13 01:44

pytorch中的词性标注_seq2seq_比较naive的示例

一、各种用法_查漏补缺：1.关于numpy中的argmax的用法：numpy之argmax()函数-知乎(zhihu.com)具体看这篇文章够了二、代码+注释：参考：SequenceModelsandLongShort-TermMemoryNetworks—PyTorchTutorials2.0.1+cu117documentation01序列模型和基于LSTM的循环神经网络-知乎(zhihu.c

诚威_lol_中大努力中·2023-09-12 10:19

李宏毅深度学习self-attentin学习笔记

网络架构三、multi-headself-attention四、positionalencoding五、pytorch实现一、self-attention的起源self-attention初始也是用于解决seq2seq

ZEERO~·2023-09-11 10:05

Transformer（一）—— Attention & Batch Normalization

Transformer详解一、RNN循环神经网络二、seq2seq模型三、Attention（注意力机制）四、Transformer4.1selfattention4.2self-attention的变形

深浅卡布星·2023-09-09 23:53

序列到序列学习（seq2seq）

permute(1,0,2)，将batch_size放在中间state最后一个时刻，每个层的输出

闪闪发亮的小星星·2023-09-09 17:05

day5-Transformer

和seq2seq模型相似，Transformer同样基于编码器-解码器架构，其区别主要在于以下三点：Transformerblocks：将seq2seq模型重的循环网络替换为了TransformerBlocks

wamgz·2023-09-05 12:57

day5-attention机制和Seq2Seq

内容包括：attention机制为什么需要attention简介Seq2Seqattention为什么需要attention由于之前的输入文本无论长度，最后都变成了一个隐藏状态输入到decoder解码，

wamgz·2023-09-05 07:43

一文讲解Transformer

我们本篇文章来详细讲解Transformer:首次提出在：Attentionisallyouneed(arxiv.org)简单来说，Transfomer就是一种Seq2seq结构，它基于多头自注意力机制

jxwd·2023-09-05 05:57

自然语言处理之TextRNN

TextRNN文本分类RNN是在自然语言处理领域非常标配的一个网络，在序列标注/命名体识别/seq2seq模型等很多场景都有应用，RecurrentNeuralNetworkforTextClassificationwithMulti-TaskLearning

Wenweno0o·2023-09-05 01:26

NLP（1）--NLP基础与自注意力机制

2、向量表示二、词向量离散表示1、one-hot2、Bagofwords3、TF-IDF表示4、Bi-gram和N-gram三、词向量分布式表示1、Skip-Gram表示2、CBOW表示四、RNN五、Seq2Seq

Struart_R·2023-09-05 00:25

seq2seq与引入注意力机制的seq2seq

1、什么是seq2seq？就是字面意思，“句子到句子”。比如翻译。2、seq2seq有一些特点seq2seq的整体架构是“编码器-解码器”。

nor1take·2023-09-04 02:48

Seq2Seq和Attention机制详解

一、Seq2Seq简介seq2seq模型最早可追溯到2014年的两篇paper[1,2]，主要用于机器翻译任务（MT）。

vivian_ll·2023-09-01 04:22

NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attention算法——E-D架构的简介(背景/简介/本质/原理等)、案例应用之详细攻略

NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2SeqwithAttention算法——E-D架构的简介(背景/简介/本质/原理等)、案例应用之详细攻略目录Seq2Seq

一个处女座的程序猿·2023-09-01 04:50

attention模型方法综述

以基于seq2seq模型的机器翻译为例，如果decoder只用encoder最后一个时刻输出的hiddenstate，可能会有两个问题（我个人的理解）encoder最后一个hiddenstate，与句子末端词汇的关联较大

凌烟阁主5221·2023-08-31 20:06

出现raise NotImplementedError报错

importcollectionsimporttorchfromd2limporttorchasd2limportmathfromtorchimportnnclassSeq2SeqEncoder(d2l.Encoder

抓个马尾女孩·2023-08-29 14:19

2023.4.23 自注意力机制

比如对于一个英文句子，每一个单词都判断是什么词性输入n个向量，输出1个向量，这是常见的classification问题，也就是分类问题，比如通过语音识别出是哪个人输入n个向量，不知道会输出多少个向量，这是seq2seq

一条自私的鱼·2023-08-29 06:23

李宏毅机器学习笔记：结构学习，HMM，CRF

HMM1.1Sequence2Sequence1.2HMM1.3Viterbi算法1.3HMM模型的缺点2、CRF2.1CRF模型2.2CRF模型训练1、隐马尔可夫模型HMM1.1Sequence2Sequence什么是Seq2Seq

ZEERO~·2023-08-28 22:43

深度学习11：Transformer

和经典的seq2seq模型一样，Transformer模型中也采用了encoer

ZhangJiQun&MXP·2023-08-27 10:33

关于Transformers库预训练模型输入的一些细节问题

在RNN的时代，对于Seq2Seq模型，我们必不可少的要对数据进行处理添加开始标志[bos]和结束标志[eos],这样做的目的是在解码阶段模型进行自回归语言模型时，模型可以收到一个结束标

一如年少模样丶·2023-08-26 08:30

Seq2Seq 经典论文

LearningPhraseRepresentationsusingRNNEncoder–DecoderforStatisticalMachineTranslationSequencetoSequenceLearningwithNeuralNetworks区别在于其source编码后的向量C直接作为Decoder阶段RNN的初始化state，而不是在每次decode时都作为RNNcell的输入。此

京漂的小程序媛儿·2023-08-25 13:50

论文阅读：DIN-SQL: Decomposed In-Context Learning of Text-to-SQL withSelf-Correction

NL2SQL是将自然语言转化为SQL的任务，该任务隶属于NLP的子任务，NL2SQL在AIGC时代之前，以seq2seq、BERT等系列的模型在NL2SQL的主流数据集上取得了不错的效果，2022年底，

城南皮卡丘·2023-08-22 17:46

【李宏毅机器学习】注意力机制

输出我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分给多少输出多少给一堆向量，输出一个label，比如说情感分析还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，

INGg__·2023-08-22 17:29

人工智能之RNN, Seq2Seq, Attention注意力机制完全解析

本文主要介绍经典的RNN结构，以及RNN的变种（包括Seq2Seq结构和Attention机制）。希望这篇文章能够帮助初学者更好地入门。

大数据AI人工智能培训专家培训讲师叶梓·2023-08-20 16:12

【NLP】完全解析RNN, Seq2Seq, Attention注意力机制

这里仅仅是备份，具体原文章请查看完全解析RNN,Seq2Seq,Attention注意力机制-知乎目录1.经典的RNN结构2.SequencetoSequence模型编辑2.1Embedding2.2Seq2Seq

mjiansun·2023-08-20 16:42

NLP中的RNN、Seq2Seq与attention注意力机制

目录NLP自然语言处理的RNN、Seq2Seq与attention注意力机制RNN循环神经网络前馈网络入门前馈网络循环网络多层感知器架构示例循环神经网络的运作原理展开RNNseq2seq模型Attention

ZhangJiQun&MXP·2023-08-20 16:12

A Diversity-Promoting Objective Function for Neural Conversation Models》阅读笔记

火爆的QA系统，现在常采用seq2seq的模型来做，这篇文章是为了优化一个问题。

ColdCoder·2023-08-19 19:48

一键式文本纠错工具，整合了BERT、ERNIE等多种模型，让您立即享受纠错的便利和效果

实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评

·2023-08-19 11:38

推荐频道

Seq2seq