seq2seq

实现基于LSTM的情感分析

常用的数据集及开源库1.1常用数据集1.1.1亚马逊产品评价1.1.2Yelp餐饮评价1.1.3电影评价1.1.4亚马逊食品评价1.1.5航空公司Twitter评价1.1.6共和党辩论Twitter评价1.2开源库2.Seq2Seq
快乐小码农·2022-03-28 07:07

李宏毅Transformer

TransformerTransformer其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。
蒋思·2022-03-27 07:59

Seg2Seg及其pytorch实现

Seq2Seq由来在基于词语的语言模型中，我们使用了循环神经网络。它的输入是一段不定长的序列，输出却是定长的，例如输入：Theyare，输出可能是watching或者sleeping。
郑不凡·2022-03-16 07:10

Bert不完全手册2. Bert不能做NLG？MASS/UNILM/BART

这类需求，主要包括seq2seq中生成对输入有强依赖的场景，例如翻译，生成式问答，文本摘要等等最初Transformer的Encoder+Deocder结构是在机器翻译领域，Encoder的部分通过双向
风雨中的小七·2022-03-15 08:00

Bert不完全手册2. Bert不能做NLG？MASS/UNILM/BART

这类需求，主要包括seq2seq中生成对输入有强依赖的场景，例如翻译，生成式问答，文本摘要等等最初Transformer的Encoder+Deocder结构是在机器翻译领域，Encoder的部分通过双向
风雨中的小七·2022-03-15 08:00

手把手教你用python来制作春联，是时候让你大展身手了

于是我有个大胆的想法基于RNN（Seq2Seq+Attention
海绵宝宝没有baby·2022-03-14 15:33

李宏毅 Transformer（介绍 + Encoder部分）

Transformer就是一个,Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什麼呢我们之前在讲inputasequence
帅帅梁·2022-03-14 07:53

CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

Abstract&Introduction&RelatedWork研究任务AAC（自动音频字幕）已有方法和相关工作面临挑战创新思路使用预训练模型，seq2seq模型使用CNN14和ResNet54作为encoder
爱睡觉的Raki·2022-03-14 07:43

NLP之Seq2Seq

参考文档：①Seq2Seq简介1②Seq2Seq简介2③莫烦pythonB站视频④莫烦python官网⑤Luong论文NLP1Seq2seq1.1最简单的Seq2Seq结构1.2具体例子1.3损失函数1.4
Ton10·2022-03-13 07:21

NLP基础

NLP基础Word2vecword2vec概念词向量发展历程语言模型Word2vec模型Seq2SeqTransformerWord2vec参考：①Word2vec知其然知其所以然或者花书实战篇②知乎-
Ton10·2022-03-13 07:51

《动手学深度学习》Task04：机器翻译及相关技术+注意力机制与Seq2seq模型+Transformer

文章目录1机器翻译及相关技术1.1机器翻译基本原理1.2Encoder-Decoder1.3SequencetoSequence模型1.4BeamSearch2注意力机制与Seq2seq模型2.1注意力机制
Colynn Johnson·2022-03-02 07:21

动手学深度学习PyTorch版--Task4、5--机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer；；卷积神经网络基础；leNet；卷积神经网络进阶

一.机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。1.Encoder-Decoderencoder：输入到隐藏状态decoder：隐藏状态到输出classEncoder(nn.Module):def__init__(self,**kwa
华尔街的幻觉·2022-03-02 07:47

《动手学深度学习》task4_2 注意力机制和Seq2seq模型

系统学习《动手学深度学习》点击这里：《动手学深度学习》task1_1线性回归《动手学深度学习》task1_2Softmax与分类模型《动手学深度学习》task1_3多层感知机《动手学深度学习》task2_1文本预处理《动手学深度学习》task2_2语言模型《动手学深度学习》task2_3循环神经网络基础《动手学深度学习》task3_1过拟合、欠拟合及其解决方案《动手学深度学习》task3_2梯度消
shiinerise·2022-03-02 07:32

NLP面试题Transformer复杂结构模型和简单结构模型的优缺点是什么？

自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention的模型。
NLP自然语言处理·2022-03-01 07:13

【NLP】Transformer模型原理详解

【NLP】Transformer模型原理详解自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention
NLP自然语言处理·2022-03-01 07:12

Keras（三十三）Transformer模型总体架构和理论

本文将介绍：Transformer论文地址及论文翻译地址Seq2seq+attention优缺点Transformer模型结构图例Encoder-Decoder架构缩放点积注意力多头注意力位置编码Add
TFATS·2022-03-01 07:37

Transformer模型结构详解

1、模型架构大部分序列到序列（seq2seq）模型都使用编码器-解码器结构(引用)。编码器把一个输入序列(1,...)
Ibrahimovic1·2022-03-01 07:32

《动手学深度学习》Seq2Seq、attention、transformer相关问题的总结与反思

关于Seq2Seq相关问题的总结这里主要总结对比的是原始的seq2seq问题、带有attention机制的seq2seq问题以及transformer架构。
琦子k·2022-02-27 10:26

Attention Is All You Need论文精读笔记

部分内容参考了Transformer论文逐段精读【论文精读】-哔哩哔哩(bilibili.com)相关博文：《动手学深度学习》Seq2Seq、attention、transformer相关问题的总结与反思
琦子k·2022-02-27 10:26

《动手学深度学习》Seq2Seq代码可能出错的原因及适当分析

关于沐神《动手学深度学习》Seq2Seq代码可能出错的原因及适当分析先放训练结果：沐神的300个epoch:go.=>vaau!,bleu0.000ilost.
琦子k·2022-02-27 10:55

keras seq2seq_在Keras中建立具有Luong注意的Seq2Seq LSTM以进行时间序列预测

kerasseq2seqDoyouwanttotrysomeothermethodstosolveyourforecastingproblemratherthantraditionalregression
weixin_26752765·2022-02-25 07:50

Seq2Seq 模型及 Attention 机制

什么是Seq2Seq？Seq2Seq是一个Encoder-Decoder结构的神经网络，它的输入是一个序列(Sequence)，输出也是一个序列(Sequence)，因此而得名“Seq2Seq”。
dingtom·2022-02-21 19:31

2022-02-20第7周复盘

4.BERT源码完成学习，并实现一个seq2seq的训练。
看见悉达多·2022-02-20 22:05

2019-01-21 Seq2Seq模型涉及的函数

tf.contrib.layers.embed_sequence该函数的原型是：embed_sequence(ids,vocab_size=None,embed_dim=None,unique=False,initializer=None,regularizer=None,trainable=True,scope=None,reuse=None)该函数将输入的ids，转换成embeddings，输
七月那个阿瓜呀·2022-02-19 05:24

pytorch reproducibility

在训练seq2seq的过程中，固定了所有seed，random.seed(args.seed)os.environ['PYTHONHASHSEED']=str(args.seed)np.random.seed
kelseyh·2022-02-14 11:02

seq2seq attention

1.seq2seqencoder-decoder一般情况下，encoder为RNN网络，decoder也为RNN网络给定句子对,输入为Source=,Target=经过Encoder编码输出为C=F(x1
木木xixi1997·2022-02-14 09:01

transformer

transformer是一个seq2seq模型。从RNN谈起缺点：不能处理过长的句子。
VanJordan·2022-02-11 06:03

seq2seq注意力机制源码分析和word2vec最相似topN源码分析

幻灯片2.PNG幻灯片3.PNG幻灯片4.PNG幻灯片5.PNG幻灯片6.PNG幻灯片7.PNG幻灯片8.PNG幻灯片9.PNG幻灯片10.PNG幻灯片11.PNG幻灯片12.PNG幻灯片13.PNG幻灯片14.PNG幻灯片15.PNG幻灯片16.PNG幻灯片17.PNG幻灯片18.PNG幻灯片19.PNG幻灯片20.PNG幻灯片21.PNG幻灯片22.PNG幻灯片23.PNG
xyq_learn·2022-02-08 12:46

Pytorch学习记录- 使用神经网络训练Seq2Seq（论文再读）

对Pytorch的Seq2Seq这6篇论文进行精读，今天重新开始，第一篇，《SequencetoSequenceLearningwithNeuralNetworks》Sutskever,I.,O.VinyalsandQ.V.Le
我的昵称违规了·2022-02-07 17:24

X-former:不止一面，你想要的Transformer这里都有

其最初是针对seq2seq的机器翻译模型而设计的，在后续的其他工作中，以Transformer为
NLP论文解读·2022-02-06 18:00

李宏毅深度学习——第一天

CourseintroductionRNN——>输入是一个句子，输出是posornegCNN——>输入是图片，输出是从n个选项里选择一个正确的Seq2seq：翻译（产生文句）（generation）GAN
Grateful_Dead424·2022-02-06 11:55

Pytorch实战_Seq2seq模型

1.Sequence-to-Sequence简介大多数常见的sequence-to-sequence(seq2seq)model为encoder-decodermodel，主要由两个部分组成，分别是Encoder
hello_JeremyWang·2022-02-04 16:55

Transformer 架构逐层功能介绍和详细解释

seq2seq模型是一种基于编码器-解码器机制的模型，它接收输入序列并返回输
·2022-01-09 11:02

Python迅速掌握语音识别之知识储备篇

目录概述RNN计算RNN存在的问题LSTMGRUSeq2seqAttention模型TeacherForcing机制概述从今天开始我们将开启一个新的深度学习章节,为大家来讲述一下深度学习在语音识别(SpeechRecognition
·2021-11-22 11:42

动手学深度学习实践—文献阅读

文章目录一.动手学深度学习实践1.1Bi-RNN1.2编码器-解码器结构1.3使用API实现（encoder-decoder)1.4序列到序列学习（seq2seq）二.文献阅读—Adual-headattentionmodelfortimeseriesdataimputation2.1
CatcousCherishes·2021-11-14 20:39

自然语言处理之语音识别（2）

上一节介绍的是LAS模型，标准的seq2seqmodel，因为decoder每一步其实考虑的是全部的encoder的输出，所以没办法做到online的输出。
今天学习算法了吗·2021-11-06 21:39

seq2seq之双向解码

目录背景介绍双向解码基本思路数学描述模型实现训练方案双向束搜索代码参考思考分析文章小结在文章《玩转Keras之seq2seq自动生成标题》中我们已经基本探讨过seq2seq，并且给出了参考的Keras实现
十七岁的有德·2021-11-06 11:00

RNN：Seq2Seq模型详解

RNN：Seq2Seq模型详解Time：2021-10-29Author：雾雨霜星我的网站：雾雨霜星前言主要归纳RNN运行原理、Seq2Seq模型原理及其基于Tensorflow的实现、注意力机制的归纳及实现方法
雾雨霜星·2021-11-04 23:44

深度学习 -- TensorFlow（9）循环神经网络RNN

目录一、循环神经网络RNN介绍二、Elmannetwork&&Jordannetwork三、RNN的多种架构1、一对一2、多对一3、多对多4、一对多5、Seq2Seq四、传统RNN的缺点一、循环神经网络
_睿智_·2021-10-26 21:12

python3 seq2seq_model.py 对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读5------第二章

接上一章节上一章节调用完了adam优化器，这一章节重点介绍AutoSummary类别seq2seq解码器的操作classAutoSummary(AutoRegressiveDecoder):继承了之前的
唐僧爱吃唐僧肉·2021-10-26 10:38

python3 seq2seq_model.py 对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读5------第一章

layers.py中的MultiHeadAttention网络层layers.pyMultiHeadAttention类别中的pay_attention_to函数的调用新的损失函数：稀疏Softmax的调用seq2seq_model.py
唐僧爱吃唐僧肉·2021-10-23 15:01

python3 seq2seq_convert.py 对应代码解读抽取式提取+生成式提取摘要代码解读------摘要代码解读4

extract_model.py对文本每一部分提取验证集并输出内容回到extract_model.py之中查看再次回到seq2seq_convert.py之中查看(多折抽取代码研读)使用交叉验证的原因总结
唐僧爱吃唐僧肉·2021-10-22 15:04

Python机器学习NLP自然语言处理基本操作之Seq2seq的用法

概述从今天开始我们将开启一段自然语言处理(NLP)的旅程.自然语言处理可以让来处理,理解,以及运用人类的语言,实现机器语言和人类语言之间的沟通桥梁.Seq2seqSeq2seq由Encoder和Decoder
·2021-10-18 17:04

时间系列预测的Deep transformer模型：流感流行病例

目录1文章来源链接2Abstract3Introduction4Dataset5ModelTransformers编码器（Encoder）解码器（Decoder）seq2seq-Attention6Conclusions
一口气吃五碗饭的阿霖·2021-10-09 23:14

Flask web服务部署深度学习模型YOLO

或者进行语音识别啊之类的，基本都是MATlab训练或者直接使用VC++opencv接口API或者其他模型借口这种，后来看网络上各种视频教程，这个tensorflow那个pytorch，这个YOLO那个SEq2seq
Mr Robot·2021-08-21 10:44

摘要抽取算法——最大边界相关算法MMR(Maximal Marginal Relevance)

用途快速的抽取出一篇文章的主要内容，这样读者就能够通过最少的文字，了解到文章最要想表达的内容方法一种是生成式：生成式一般采用的是监督式学习算法，最常见的就是seq2seq模型，需要大量的训练数据。
Happy丶lazy·2021-08-09 16:29

架构级理解BERT——逃不掉的RNN

本系列将分成以下几个模块，逃不掉的RNN探求机翻的内幕：Seq2Seq[https://segmentfault.com/a/11...]AttentionisA
·2021-08-06 18:12

架构级理解BERT（二）——探求机翻的内幕：Seq2Seq

上文我们已经介绍了LSTM，它就是一个改造过的RNN模型，通过LSTM能够比较好的将一段文本表征为向量。那么要完成机器翻译这个任务，我们的机器不仅要读懂文本的意思，还需要主动的生成文本。CharlevelandWordlevel这里简要介绍一下句子的分割。句子可以分割成字符级别和单词级别，之前我们所讲的都是单词级别的；二者各有利弊。字符级别：“Imissyou”=>/sImissyou/e。其中/
·2021-08-06 18:05

RNN架构解析

如文本分类,情感分析,意图识别,机器翻译等.RNN的分类按照输入和输出：NvsN-RNNNvs1-RNN1vsN-RNNNvsM-RNN（它由编码器和解码器两部分组成,两者的内部结构都是某类RNN,它也被称为seq2seq
嘿呀嘿呀 拔罗卜·2021-08-03 21:37

2021-06-27 ch22 注意力机制

理解文本、图片信息，能记住的信息是有限的，模型要利用好每一刻有用的部分，把注意力放在某一个部分seq2seq存在1、长依赖的梯度消失问题；2、瓶颈问题，decoder前置依赖c的训练好坏，所以需要attention
柠樂helen·2021-07-18 21:04
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他