seq2seq

【深度学习系列（六）】：RNN系列（5）：RNN模型的奇淫巧技之灵活的注意力机制

众所周知，注意力机制通常是运用于seq2seq模型中，我们常用的注意力机制是基于信息的注意力机制，也就是说我们只选择一些关键的的输入信息进行处理，但有时我们也需要关注其他信息，比如说位置信息。
wxplol·2022-11-28 08:40

Transformer架构解析

2.1认识Transformer架构学习目标了解Transformer模型的作用.了解Transformer总体架构图中各个组成部分的名称.Transformer模型的作用基于seq2seq架构的transformer
AI耽误的大厨·2022-11-28 08:33

独家 | Python利用深度学习进行文本摘要的综合指南（附教程）

本文介绍了如何利用seq2seq来建立一个文本摘要模型，以及其中的注意力机制。并利用Keras搭建编写了一个完整的模型代码。介绍“我不想要完整的报告，只需给我一个结果摘要”。
数据派THU·2022-11-28 07:36

Pointer-Generator Seq2Seq复制机制神经网络大致介绍和框架实现

网络大致介绍为了提升神经机器翻译质量，论文GetToThePoint:SummarizationwithPointer-GeneratorNetworks两个角度出发：减少网络翻译出现重复语句的情况尽可能从输入获取单词表外的单词，强化语义转换的同时，减少OOV的情况。基于此，提出了Coveragemechanism和Pointer-generator。CoveragemechanismCovera
妙妙屋的mong男·2022-11-28 01:20

准备NLP面试问题

Add&Norm模块的作用:LNBNattention和self-attention的区别Seq2seqAttentiontransformerelmobertgptgpt-2CGANPCA降维LDA协同过滤
kukufufu·2022-11-27 20:08

【DeepLearning 8】Self-Attention自注意力神经网络

此外，我们需要输出的数据有时候也会复杂，比如一组向量中每一个向量有一个输出（词性标注），或者一组向量有一个输出，或者输出的数量让机器自己决定（即seq2seq任务，比如中英文翻译）在第一种情况的
北村南·2022-11-27 14:00

李沐动手学深度学习V2-seq2seq和代码实现

一.seq2seq序列到序列学习1.介绍机器翻译输入序列和输出序列都是长度可变的。
cv_lhp·2022-11-27 13:05

【Day1】恢复一下

seq2seq:（编码器）语音数据->进行编码为特征（高维度）（解码器）数字特征->文字对应的特征需要编码全部完成，整个向量进行翻译RNN:有缺点，用1D的卷积更好缺点：①不能并行，效率低；②只能考虑前文
Zach_菠萝侠·2022-11-27 08:51

深度学习--递归神经网络--LSTM/GRU算法理论

目录一递归神经网络基础1递归神经网络与前馈神经网络的联系与区别1）网络结构2）输入角度3）输出角度2递归神经网络的架构类别第一种架构类别：从输入和输出的序列长度角度1）N：N（最为常见的架构）2）N：M（Seq2Seq
我是疯子喽·2022-11-27 08:31

彻底看懂RNN，LSTM，GRU，用数学原理解释梯度消失或者梯度爆炸

RecurrentNeutralNetwork章节RNN概述LSTMGRU梯度困区Seq2Seq模型何去何从模型之外RNN概述为什么它叫做递归神经网络呢？与其他网络有何不同？
sherlock31415931·2022-11-27 08:28

深度学习/机器学习资料汇总

学习资料汇总读研期间收集的学习资料汇总（持续更新中）MachineLearningDeepLearningSeq2SeqLSTMAttentionSelf-AttentionTransfomerBert
金州啦啦啦啦文·2022-11-27 07:50

课程概述——李宏毅人类语言处理笔记1

（1）语音识别用在语音辨识上的不是我们理解的传统的seq2seqmodel（2）语音合成（3）输入一段声音信号，输出一段声音信号变声器（4）判断一段声音属于哪个类别（5）输入输出同时是文字时处理文字的
我是小蔡呀～～～·2022-11-27 02:28

Transformer网络

Bahdanau等人在论文《NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate》中，将attention机制首次应用在nlp领域，其采用Seq2Seq
WX_Chen·2022-11-26 21:10

pytorch做seq2seq注意力模型的翻译

以下是对pytorch1.0版本的seq2seq+注意力模型做法语--英语翻译的理解（这个代码在pytorch0.4上也可以正常跑）：1#-*-coding:utf-8-*-2"""3TranslationwithaSequencetoSequenceNetworkandAttention4
weixin_30906671·2022-11-26 20:00

快速构建一个简单的对话+问答AI （上）

part02循环神经网络RNNRNN投影图RNN是三维立体的LSTM&GRUpart03意图识别分词FastText分类FastText网络结构优化点构造FastText数据集训练part04闲聊对话Seq2Seq
Huterox·2022-11-26 17:33

tensorflow2.0官网demo学习笔记 基于attention的seq2seq机器翻译

tensorflow2.0官网demo学习笔记基于attention的seq2seq机器翻译前言备注代码备注好，回到代码：见证奇迹的时刻：over前言打算详细深入了解bert和transform的原理和源代码
quantum00549·2022-11-26 17:52

论文阅读之：基于序列列到到序列的中文AMR解析；Chinese AMR Parsing based on Sequence-to-Sequence Modeling

文章目录AbstractIntroductionRelatedWorkAMR&ChineseAMRAMRparsing&ChineseAMRParsingChineseAMRParsingSeq2seqDatapre-processingDatapost-processingCombiningChinesepretrainedmodelsforChineseAMRparsingChinesePre
暖仔会飞·2022-11-26 15:32

Transformer:Attention is all you need

声明：本文是学习https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html的笔记如果你对attention和seq2seq不了解最好了解一下在来看
qq_40729302·2022-11-26 12:36

论文阅读：Natural Language Processing Advancements By Deep Learning: A Survey

卷积神经网络（3）循环神经网络（4）自编码器（5）生成对抗网络2.NLP中深度学习的动机三、NLP领域的核心概念1.特征表示（1）one-hot编码（2）连续词袋（CBOW）（3）词级嵌入（4）字符级嵌入2.Seq2Seq
李明朔·2022-11-26 09:15

还在调API写所谓的AI“女友”，唠了唠了，教你基于python咱们“new”一个（深度学习）

RNNRNN投影图RNN是三维立体的LSTM&GRU构建数据配置数据集准备分词划分数据集加载模型搭建基本概念Encoder搭建DecoderAttention机制decoder与beamsearch加载驱动Seq2Seq
Huterox·2022-11-25 23:53

使用keras里面的lstm进行时间序列预测_【重温序列模型】再回首DeepLearning遇见了LSTM和GRU...

时空序列预测与数据挖掘出品|AI蜗牛车1.写在前面学习时空序列，会需要很多序列模型的相关知识，所以借着这次机会想重新学习一下深度学习里面的序列模型模块，并做一个知识的梳理，主要会包括RNN，LSTM和GRU，seq2seq
weixin_39814378·2022-11-25 22:42

B站【1espresso】NLP - transform、bert、HMM、NER课件

地址传送门传送门2（含bert情感分析）仅学习使用，侵删中文自然语言处理Transformer模型(一)transformer是谷歌大脑在2017年底发表的论文attentionisallyouneed中所提出的seq2seq
吃一口桃酥·2022-11-25 19:55

Chapter7-3_BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more

文章目录1Howtopre-train2Predictnexttoken3MaskInput4seq2seq的pre-trainmodel5ELECTRA6SentenceEmbedding本文为李弘毅老师
zjuPeco·2022-11-25 15:20

Transformer 学习笔记

（创新点）1.1问题来源最开始机器翻译使用的seq2seq所存在的问题：encoder和decoder之间的上下文向量长度固定，但输入文本的长度是不固定的，长度不对称固定长度的上下文向量无法对长语句做有效编码
dagongji10·2022-11-25 08:56

用encoder和decoder实现seq2seq过程

概念介绍encoder与decoder的介绍第一个组件是一个编码器（encoder）：它接受一个长度可变的序列作为输入，并将其转换为具有固定形状的编码状态。第二个组件是解码器（decoder）：它将固定形状的编码状态映射到长度可变的序列。这被称为编码器-解码器（encoder-decoder）架构给定一个英文的输入序列：“They”、“are”、“watching”、“.”。首先，这种“编码器－解
SaltyFish_Go·2022-11-25 03:47

sequence to sequence模型

Seq2Seq一般是通过Encoder-Decoder（编码-解码）框架实现，Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN、RNN、LSTM、GRU、BLSTM
weixin_30381317·2022-11-25 02:11

基于深度学习的seq2seq模型实现数字&字母排序供能----今年过节不送礼，要送就送源代码！！！

#-*-coding:utf-8-*-"""CreatedonThuAug1621:17:172018@author:jack"""from__future__importprint_functionimportkerasfromkeras.modelsimportModelfromkeras.layersimportInput,LSTM,Denseimportnumpyasnpbatch_siz
中北小草·2022-11-25 02:33

Lecture 5 Transformer

Lecture5:Sequencetosequence文章目录TransformerSequence-to-sequence(Seq2seq)Seq2seqforSyntacticParsingSeq2seqforMulti-labelClassificationSeq2seqforObjectDetectionOverviewofSeq2seqModelEncoderTolearnmoreDec
Yi_cAt·2022-11-24 22:07

GAN学习笔记-李宏毅：GAN Lecture 9 (2018): Sequence Generation

2018):SequenceGenerationConditionalSequenceGeneration用maximizelikelihood（也可以称为minimizecrossentropy）训练seq2seqmodel
ahigan·2022-11-24 22:07

Pytorch Transformer

1.Transformer1.1架构基于Encoder-Decoder架构来处理序列对跟使用注意力的seq2seq不同，Transformer是纯基于注意力1.2多头注意力对同一Key，Va
哇咔咔负负得正·2022-11-24 17:42

Pytorch实现Transformer字符级机器翻译

前言上次发了一篇用seq2seqwithattention做机器翻译的博客，今天我们试试Transformer。
孤独腹地·2022-11-24 17:12

零基础学习Transformer：AttentionLayer and Self-AttentionLayer

TransformerModelTransformer是一个Seq2Seq模型，有一个encoder和一个decoderTransformer不是RNN，没有循环的结构，只有attention和全连接层
Poppy679·2022-11-24 16:32

使用huggingface的Transformers预训练自己的bert模型+FineTuning

②SGM，多标签分类的序列生成模型将序列生成模型，运用到多标签分类任务上，序列生成模型，典型的就是seq2seq模型。③关于transformers库中不同模型的Tokenize
Wisley.Wang·2022-11-24 12:16

关于Transformer、BERT的理解

从宏观角度来看，Transformer是一种基于Self-Attention机制的Seq2seq模型（序列模型），是用于机器翻译的，由编码器和解码器组成（自己总结的）。
gailj·2022-11-24 10:04

Seq2Seq+Attention生成式文本摘要

任务描述:自动摘要是指给出一段文本，我们从中提取出要点，然后再形成一个短的概括性的文本。自动的文本摘要是非常具有挑战性的，因为当我们作为人类总结一篇文章时，我们通常会完整地阅读它以发展我们的理解，然后写一个摘要突出其要点。由于计算机缺乏人类知识和语言能力，它使自动文本摘要成为一项非常困难和艰巨的任务。自动摘要通常分为抽取式摘要和生成式摘要，区别在于抽取摘要选择原文中若干句子作为只要，而生成式摘要利
Dongxue_NLP·2022-11-24 09:59

《深度学习进阶 自然语言处理》学习笔记（3）Attention

前篇链接link目录第八章AttentionAttention结构seq2seq的改进——h到hsseq2seq的改进——解码器层结构调整Attention层的引入Attention的结构WeightSum
Lewis_Sean·2022-11-24 00:37

《深度学习进阶 自然语言处理》第八章：Attention介绍

文章目录8.1Attention结构8.1.1seq2seq存在的问题8.1.2编码器的改进8.1.3解码器的改进8.2Attention的应用8.3总结之前文章链接：开篇介绍：《深度学习进阶自然语言处理
【文言】·2022-11-24 00:29

动手学习深度学习

动手学习深度学习内容安排深度学习介绍内容安排深度学习基础：线性神经网络、多层感知机卷积神经网络：LeNet、AlexNet、VGG、Inception、ResNet循环神经网络：RNN、GRU、LSTM、seq2seq
福尔摩东·2022-11-23 14:27

NLP入门--Seq2Seq英汉翻译实战

在这两个专栏中，我将会带领大家一步步进行经典网络算法的实现，欢迎各位读者（dalao）订阅Seq2Seq一、模型介绍1.1Seq2Seq介绍1.2Encoder-Decoder结构二、代
CuddleSabe·2022-11-23 12:50

注意力机制：seq2seq with attention & transformer

大部分人接触注意力机制是因为transformer，但在NLP领域，该机制早就被Bahdanauetal.,2014，Luongetal.,2015等人提出，对应模型称为seq2seqwithattention
XuanyuXiang·2022-11-23 12:06

seq2seq通俗理解----编码器和解码器(TensorFlow实现)

文章目录1.什么是seq2seq2.编码器3.解码器4.训练模型5.seq2seq模型预测5.1贪婪搜索5.2穷举搜索5.3束搜索6.Bleu得分7.代码实现8.参考文献1.什么是seq2seq在⾃然语
mantchs·2022-11-23 10:18

深度学习之注意力机制（Attention Mechanism）和Seq2Seq

2、软性注意力机制的数学原理；3、软性注意力机制、Encoder-Decoder框架与Seq2Seq4、自注意力模型的原理。一、注意力机制可以解决什么问题？
weixin_30485291·2022-11-23 09:47

seq2seq 实现从tensorflow到pytorch的转写

在练习tensorflow转写成pytorch对之前的一段tensorflow的seq2seq代码实现pytorch的转换任务是这样的：要将中文日期翻译成英文日期格式，并且输入的时候不知道是1980年还是
逆夏11111·2022-11-23 07:45

Neural Architectures for Named Entity Recognition: BiLSTM+CRF模型还原

文章目录1.论文总结2.BiLSTM+CRF模型还原2.1数据集2.2预处理2.3padding2.4model3.问题3.1seq2seq的损失函数问题3.2tfa.layers.CRF问题1.论文总结
十八就是糖糖·2022-11-23 07:42

解决tfa.seq2seq.BasicDecoder()，load_weights()之后进行初始化，embedding变量为空报错

问题：在参考别人的代码，进行seq2seq模型的inference过程中，发现使用tfa.seq2seq.BasicDecoder()通过load_weights()的方法加载训练好的权重参数后，进行inference
xaaaab·2022-11-23 07:01

基于MindSpore的Transformer网络实现

基于MindSpore的Transformer网络实现网络模型介绍1、背景自从Attention机制提出以来，加入Attention机制的seq2seq模型在各个任务上都有了提升，但是还是存在着两个主要的问题
昇思MindSpore·2022-11-23 05:31

这些深度学习模型不会还有人不知道吧，不会吧不会吧

、NNLM2、RNNLM1、Skip-gram模型2、CBOW模型Word2vec关键技术，优化训练速度模型复杂度和评价方法3HMM和CRF模型1、模型概述(三大要素)2、三大假设3、三大问题4RNNseq2seq5RNN
半度、·2022-11-23 00:35

NLP (四): seq2seq (RNN, Attention), NTM (神经图灵机)

本文为《深度学习进阶:自然语言处理》的读书笔记目录seq2seq模型Encoder-Decoder模型seq2seq的应用RNNbasedseq2seqseq2seqEncoderDecoderseq2seq
连理o·2022-11-22 20:18

《深度学习进阶 自然语言处理》第七章：seq2seq介绍

文章目录7.1seq2seq模型介绍7.1.1seq2seq的原理7.1.2时序数据转换简单举例7.2seq2seq模型实现7.3seq2seq模型改进7.3.1反转输入数据(Reverse)7.3.2
【文言】·2022-11-22 20:31

Siamese networks

SiameseNetwork是一种神经网络的架构，而不是具体的某种网络，就像Seq2Seq一样，具体实现上可以使用RNN也可以使用CNN。
qq_45134061·2022-11-22 17:20
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他