Seq2seq

【Seq2Seq】Attention is All You Need

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-10-03 21:07

【Seq2Seq】压缩填充序列、掩蔽、推理和 BLEU

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-10-03 21:37

CS224N笔记(五) Lecture8 机器翻译、Seq2Seq以及Attention注意力机制

一、背景知识机器翻译，MachineTranslation，简称MT，是一种运用计算机将一个句子从一种语言翻译成另一种语言的技术，是自然语言处理领域中一项重要的任务。机器翻译最早可以追溯到19世纪50年代的冷战时期，其目的是实现英语和俄语的翻译，但那个时候的技术手段主要是基于规则。之后到90年代才出现了基于统计学的机器翻译技术，而在2010后乘着深度学习的风，神经网络也被大量应用于机器翻译中，并且
faith_0904·2022-10-03 21:36

【2019斯坦福CS224N笔记】（8）Translation, Seq2Seq, Attention

机器翻译相信大家都不陌生，我们日常生活中经常会用到诸如百度翻译、谷歌翻译、有道翻译等等。这里我们给机器翻译下一个简单的定义：机器翻译(MT)是把一个句子x从一种语言(源语言)翻译成另一种语言(目标语言)的句子y。早期的机器翻译系统主要基于规则，使用双语词典将源语言映射到对应的目标语言。而现今，神经机器翻译已经逐渐走进历史舞台。一、统计机器翻译1990s-2010s，人们主要使用的是统计机器翻译。其
kaijie234·2022-10-03 21:06

【Seq2Seq】使用 RNN 编码器-解码器学习短语表示以进行统计机器翻译

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-10-03 21:06

自监督学习（self-supervised learning）

GeneralLanguageUnderstandingEvaluation（GLUE）howtouseBERTcase1case2case3case4trainingBERTischallengingpre-trainingaseq2seqmodelwhydoesBERTwork
静妮子i·2022-10-03 07:43

DeepLearing—CV系列（十六）——基于Pytorch实现的编解码结构之Seq2Seq实现验证码识别

文章目录一、认识编解码网络（encoder-decoder）二、解编码网络结构2.1编码过程（Encoder）2.2解码过程（Decoder）2.3Seq2Seq生成对联的过程三、Seq2Seq网络的应用四
wa1tzy·2022-10-02 07:32

深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）

（二）、RNN展开结构三、RNN的结构变化（一）、NtoN结构RNN模型（二）、Nto1结构RNN模型（三）、1toN结构RNN模型（四）、NtoM结构RNN模型（encoder-decoder模型、seq2seq
AD稳稳·2022-10-02 07:37

[自然语言处理]文本主题相关(TF-IDF/LDA/Sentence-BERT)

[机器学习]文本主题相关1TF-IDF2LDA3BERTopic3.1Seq2Seq3.2Seq2Seq&Attention3.3Transformer3.4BERTBERTopic实例4参考4.1论文原文
微博热搜低频用户·2022-09-21 17:39

PyTorch入门学习-1.深度学习回顾和PyTorch简介

激活函数前向神经网络卷积神经网络RecurrentNeuralNetworks（RNN循环神经网络)Seq2SeqwithAttentionPyTorch可以做什么？
矜贵.·2022-09-21 11:45

【机器学习】李宏毅——Transformer

那么Seq2seq的大致结构如下：也就是有一个Encoder和一个Dec
FavoriteStar·2022-09-18 15:38

seq2seq(序列到序列)模型

seq2seq(sequencetosequence)模型是NLP中的一个经典模型，基于RNN网络模型构建，用途非常广泛：语言翻译，人机对话，问答系统等。
Michael_Lzy·2022-09-18 09:26

Self attention(自注意力机制)

Attentionisallyouneed》一输入：N维向量输出：N个lable：class/sclar(词性判断)一个label:class/sclar（一个句子判断褒贬，听声识人）未定数量的lable,数量由机器学习（seq2seq
sociiit·2022-09-13 18:09

从零实现深度学习框架——Seq2Seq从理论到实战【实战】

引言本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不使用外部完备的框架前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。在上篇文章中了解seq2
愤怒的可乐·2022-09-09 07:00

[深度学习 - 实战项目] CRAFT&CRNN_seq2seq图片文字提取

图片文字提取项目检测网络：CRAFT，基于字符区域感知的文本检测；CRAFT源码：https://github.com/clovaai/CRAFT-pytorch识别网络：crnn+seq2seq，编解码结构
什么都一般的咸鱼·2022-09-06 07:52

NLP实战之基于seq2seq的有约束文本生成

seq2seq构建写对联AI问题背景介绍对联又称对子，对仗工整，平仄协调，是一字一音的汉文语言独特的艺术形式，是中国传统文化瑰宝。
vivian_ll·2022-09-06 07:50

【TensorFlow】Seq2Seq模型的代码实现 & attention机制

/to/data/train.en'#源语言输入文件TRG_TRAIN_DATA='/path/to/data/train.zh'#目标语言输入文件CHECKPOINT_PATH='/path/to/seq2seq_ckpt'HIDDEN_SIZE
CC‘s World·2022-09-06 07:17

在TEB数据集上搭建翻译模型——Seq2Seq

  Seq2Seq模型的基本思想非常简单——使用一个循环神经网络读取输入句子，将整个句子的信息压缩到一个固定维度的编码中；再使用另一个循环神经网络读取这个编码，将其“解压”为目标语言的一个句子。
llh_1178·2022-09-06 07:15

【深度学习实战】【详细解读】基于Seq2Seq模型实现简单的机器翻译

官网地址：NLPFROMSCRATCH:TRANSLATIONWITHASEQUENCETOSEQUENCENETWORKANDATTENTION数据下载：数据基础知识：【深度学习实战】从零开始深度学习（四）：RNN与自然语言处理目录1.导入需要的包2.读入数据3.数据预处理——建立数据集4.模型搭建4.1编码器4.2解码器4.3注意力机制——改善解码器5.模型训练6.模型评估7.注意力权重可视化
喵木木·2022-09-06 07:41

从零实现深度学习框架——Seq2Seq从理论到实战【理论】

本文介绍seq2seq模
愤怒的可乐·2022-09-06 07:39

音视频技术开发周刊 | 247

视频修复：无监督流对齐的序列对序列学习方法S2SVR（ICML2022）本文将Seq2Seq的架构引入到了视频超分中，其次
LiveVideoStack_·2022-09-04 07:11

微软提出UniTAB用Seq2Seq模式统一多模态任务！

【写在前面】作者提出了统一文本和框输出的UniTAB，用于基础视觉语言(VL)建模。ground的VL任务（例如groundedcaptioning）需要模型生成文本描述并将预测的单词与对象区域对齐。为此，模型必须同时生成所需的文本和框输出，同时指示单词和框之间的对齐方式。与使用多个单独模块用于不同输出的现有解决方案相比，UniTAB使用共享token序列表示文本和框输出，并引入特殊的\token
·2022-09-01 12:49

《深度学习进阶：自然语言处理》读书笔记：第8章 Attention

第8章Attention使用Attention，seq2seq能像我们人一样将注意力集中在必要的信息上。换言之，借助Attention，我们理解了模型时如何工作的。
feiwen110·2022-08-30 07:00

【深度学习】Transformer原理篇——浓缩的精华

文章目录0.前言1.认识Transformer1.1Seq2Seq模型与Attention机制1.2Transformer1.2.1Transformer基本结构1.2.2Transformer的注意力机制
聊北辰同学·2022-08-29 07:12

Transformer原理解析

TransformerRNN的提供了一种对带有时序依赖关系的数据更好的建模方式，常用的seq2seq结构使RNN可以输入输出的维度不一样，解决了某一些文本问题（如翻译），带有Attention的seq2seq
模型小垃圾·2022-08-29 07:09

Transformer相关原理

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、Attention1.seq2seq2.Attention二、Transformer1.Transformer宏观结构2.Transformer
JennieGerhardt·2022-08-29 07:33

深度学习中Transformer的原理和方法（李宏毅视频课笔记）

1RNNtoCNN2Self-Attention2.1BaseMethod2.2MatrixRepresentation2.3Multi-headSelf-attention2.4PositionalEncoding3Seq2SeqBasedonSelf-Attention3.1BaseMethod3.2Transformer4AttentionVisualization0
Y_蒋林志·2022-08-29 07:02

基于Tensorflow实现一个Transformer翻译器

Transformer是谷歌在2017年的一篇论文"Attentionisallyouneed"提出的一个seq2seq的模型架构，其创造性的提出了自注意力的思想，可以很好的表达序列中各个单词之间的相互注意力关系
gzroy·2022-08-29 07:22

Transformer的基本原理

1.Seq2Seq框架1.1.Seq2Seq框架概述Seq2Seq[1]框架最初是在神经机器翻译（NeuralMachineTranslation，NMT）领域中提出，用于将一种语言（sequence）
zhiyong_will·2022-08-29 07:07

深度学习(八) Transformer 理论部分

Transformer理论部分前言一、Seq2Seq1.Encoder-Decoder2.什么是Seq2Seq?
Ali forever·2022-08-24 07:59

【动手学习pytorch笔记】30.seq2seq

seq2seq理论编码器是一个RNN，因为任务是机器翻译，所以是双向的解码器用另外一个RNN输出之前看过Transformer对这个很熟悉需要注意的一点是，在做训练和做推理的时候是有区别的在训练时，我们是有正确的翻译的
我已经吃饱了·2022-08-21 07:52

全面解析RNN,LSTM,Seq2Seq,Attention注意力机制

原文本文将会使用大量的图片和公式推导通俗易懂地讲解RNN,LSTM,Seq2Seq和attention注意力机制（结合colah’sblog和CS583），希望帮助初学者更好掌握且入门，若有已经掌握RNN
麦田里的守望者_zhg·2022-08-21 07:10

[Pytorch官方NLP实验解惑03]基于lstm的seq2seq单词标注器

序列到序列（seq2seq）是nlp任务中重要的一类，它和其他任务的根本区别在于它以序列作为处理对象，而序列由彼此独立又相互联系的单词组成，为了处理这种关系，需要在层与层之间记忆和传递状态，以表达单词之间的联系
iSikai·2022-08-21 07:38

transformer模型多特征、单特征seq2seq时序预测

Transformer之时序预测（单特征or多特征）（python3.8+pytorch）一、数据集股票的数据具有时序性，采用股票数据来进行预测下载随机一只股票历史数据进行处理，此次选用600243的数据数据处理思路如下用前一段的x数据预测其后一段的y数据每隔5取一组数据importpandasaspdimporttorchimportnumpyas![在这里插入图片描述](https://img
猛男的成长之路·2022-08-21 07:07

深度学习学习——利用seq2seq做时间序列预测

这里有一个很好的专栏：https://www.dazhuanlan.com/2020/03/30/5e81581e3c05a/
量化橙同学·2022-08-21 07:36

Seq2Seq+GRU/LSTM pytorch实现

2.结构3.pytorch实现importtorchfromtorchimportnn编码器classSeq2SeqEncoder(nn.Module):"""Seq2Seq循环神经网络编码器Args
jejune5·2022-08-21 07:35

深入剖析多层双向LSTM的输入输出

目录一、前言二、符号约定三、LSTM的参数四、LSTM的输入五、LSTM的输出最后一、前言本文将结合官方文档并以seq2seq模型为例全面展示在多层（num_layers>=2）双向（bidirectional
péripatéticien·2022-08-15 07:45

深度学习--RNN架构（N：M）--Seq2Seq+Attention机制

目录一Seq2Seq结构解析1Seq2Seq是一种Encoder-Decoder结构2Encoder（编码阶段：将输入序列压缩成固定长度的语义向量）方式一：将最后一个隐状态输出进行变换（不变换），作为语义向量
我是疯子喽·2022-08-05 14:04

语音识别（Speech Recognition）

来源：Coursera吴恩达深度学习课程现今，最令人振奋的发展之一就是seq2seq模型（sequence-to-sequencemodels）在语音识别（speechrecognition）方面准确性有了很大的提升
双木的木·2022-08-04 18:40

【NLP】Transformer模型原理详解

自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention的模型。
baidu_huihui·2022-07-31 07:20

2022-07-29 深度学习Python笔记

Transformer是什么：仍是机器翻译模型，基本构成是Seq2Seq模型，但在各个方面都取得很好的效果。
昨夜小楼又冬粉·2022-07-30 12:14

（pytorch进阶之路七）Attention Based Seq2Seq

文章目录概述encoder代码decoder代码数据预处理注意事项编写模型需要注意事项概述seq2seq模型可以运用到机器翻译、序列建模、词性标注、缺失值预测、音乐建模、语音翻译等等任务seq2seq主要分为
likeGhee·2022-07-21 07:48

什么是self-attention、Multi-Head Attention、Transformer

本文紧接《什么是Encoder-Decoder、Seq2Seq、Attention？》
⊙月·2022-07-20 07:27

NLP中的各种Attention机制

Attention机制是在Seq2Seq模型的基础上被提出来的，Seq2Seq通过encoder拿到（输入）文本信息的context向量（矩阵）。
Gamelife27·2022-07-20 07:55

Transformer（multi-head attention）

文章目录RNNCNNATTself-attention（K/Q/V）Multi-headAttention顺序问题seq2seqwithattentionTransformerTransformer的应用参考文献
aaaaa98666·2022-07-20 07:14

lstm 的timestep_如何理解LSTM中的time step？

有个特殊例子是出现在seq2seq上的，因为两种语言的句子长度变化比较大，所以用了分组的方式去重排数
weixin_28837357·2022-07-13 07:04

深度学习系列 -- 序列模型和注意力机制（Sequence models & Attention mechanism）

目录1Seq2Seq模型1.1选择最可能的句子2集束搜索（BeamSearch）2.1优化：长度标准化2.2误差分析3Blue得分4注意力模型5语音识别6触发词检测1Seq2Seq模型Seq2Seq（Sequence-to-Sequence
奋起的小渣渣·2022-07-10 13:58

深度学习中注意力机制的理解-Attention mechanism

attentionscorefunction设计1：query和key加权-加权注意力设计2：点乘注意力总结自注意力机制-selfattention多头注意力机制-multi-headattention变形金刚Transformerseq2seq
CUG-吴彦祖·2022-07-10 13:53

编码器-解码器(seq2seq)

文章目录1、编码器解码器架构1.1、概念1.2、代码1.2.1、编码器(Encoder)1.2.2、解码器(Decoder)1.2.3、合并编码器和解码器2、seq2seq模型2.1、编码器2.2、解码器
CityD·2022-07-10 07:14

基于双语数据集搭建seq2seq模型

这将是我创作的最大动力目录一、前言二、数据预处理2.1数据清洗2.2词元化2.3建立词表2.4数据加载2.5构建数据集三、模型搭建3.1Encoder-Decoder架构3.2Encoder部分3.3Decoder部分3.4Seq2Seq
aelum·2022-07-10 07:16
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他