Seq2seq

Seq2Seq中的Attention机制

BahdanauD,ChoK,BengioY.NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate[J].ComputerScience,2014.1、什么是Attention机制注意力，即重点关注某一局部信息。比如一张大合照，我们肯定是首先关注照片中的人而不是背景的花花草草。再比如在进行句子的情感识别的时候，我们通常需要关注某几
一位学有余力的同学·2021-07-02 22:15

公益AI-TASK04-机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer

机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。数据预处理将数据集清洗、转化为神经网络的输入minbatch字符在计算机里是以编码的形式存在，我们通常所用的空格是\x20，是在标准ASCII可见字符0x20~0x7e范围内。而\xa0属于
Andrew_zjc·2021-06-26 15:41

NER依存关系模型：原理，建模及代码实现

人工智能关键词：seq2seq，RNN，LSTM，NER依存关系命名实体识别(NamedEntityRecognization,NER)是AI任务中重要的一类，而且在技术落地方面已经走在各种应用的前列，
JackMeGo·2021-06-25 23:00

Seq2Seq端到端神经网络介绍

Seq2Seq端到端神经网络介绍提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Seq2Seq原理介绍二、Seq2Seq代码实战获取encoder的状态输出总结前言Seq2Seq
充电了么·2021-06-20 12:26

Pytorch学习记录-Seq2Seq打包填充序列、掩码和推理模型训练

Pytorch学习记录-torchtext和Pytorch的实例40.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2021-06-19 14:47

常见 tf.contrib.seq2seq API

BasicDecoder类和dynamic_decodedecoder文件中定义了Decoder抽象类和dynamic_decode函数，dynamic_decode可以视为整个解码过程的入口，需要传入的参数就是Decoder的一个实例，他会动态的调用Decoder的step函数按步执行decode，可以理解为Decoder类定义了单步解码（根据输入求出输出，并将该输出当做下一时刻输入）basic
madeirak·2021-06-15 17:45

Pytorch学习记录-attention的可视化

Pytorch学习记录-torchtext和Pytorch的实例40.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2021-06-13 21:28

OCR性能优化：从认识BiLSTM网络结构开始

摘要：想要对OCR进行性能优化，首先要了解清楚待优化的OCR网络的结构，本文从动机的角度来推演下基于Seq2Seq结构的OCR网络是如何一步步搭建起来的。
华为云开发者社区·2021-06-13 11:15

序列到序列模型(seq2seq)

1.简介序列到序列模型其实是使用两个RNN。一个读取输入序列，将读取的序列发送给另一个RNN，接着输出序列。如下图，左侧的RNN叫做编码器，右侧的RNN叫做解码器。编码器的主要任务是读取序列，然后将发现的规律传递给解码器。解码器会产生输出序列。传递给解码器的“规律”是固定大小的张量，称为状态，有时候也叫上下文，无论输出和输出的序列长短是多少，Context的大小在构建模型的时候是指定，大小固定。详
Spinggang·2021-06-12 08:48

资源合集

Seq2seqwithattentionTheIllustratedTransformeraboutProbabilityProbability2ablogtovisualizationconceptesinDPdomain
asl_1da7·2021-06-10 14:13

Transformer 阅读笔记

Transformer模型是谷歌大脑在2017年发表论文《Attentionisallyouneed》中所提出的Seq2Seq模型。
LoveAnny·2021-06-09 14:06

Tensorflow 2.0 seq2seq 预测sin曲线

在本实验中构造了一系列正弦曲线的变形：X=np.sin(T,dtype=np.float32)0.01np.random.rand()(T+np.random.rand()10)+np.random.rand()*10样子的话，大概是：image.png预测的任务是，已知某条线前N个数（N为400到1600之间的随机数），预测接下来的200个数。也就是我们要处理一个变长的输入，这就需要用到rage
DaydayHoliday·2021-06-08 07:02

挖坑

HierarchicalSoftmax,Negativesampling三个部分.SVM,从原理到应用CNN,从图像到NLP,附加positionencodingAttentionRNN,从LSTM到GRU,以及seq2seq
MashoO·2021-06-07 00:11

位置编码在注意力机制中的作用

本文介绍了transformers在seq2seq任务中的应用。该论文巧妙地利用了D.Bahdanau等人通过联合学习对齐和翻译的神
deephub·2021-06-05 09:48

深入浅出，详细理解Attention Model的基本原理！

seq2seq模型入门在NLP领域，Bahdanau首先将Attention机制引入神经网络机器翻译（NMT）中，而NMT任务是一个典型的sequencetosequence
pokbe·2021-05-21 00:34

OCR性能优化：从认识BiLSTM网络结构开始

摘要：想要对OCR进行性能优化，首先要了解清楚待优化的OCR网络的结构，本文从动机的角度来推演下基于Seq2Seq结构的OCR网络是如何一步步搭建起来的。
华为云·2021-05-20 11:10

分词系列

2919tFk.html方法：基于AC自动机的快速分词：http://kexue.fm/archives/3908/字标注法和HMM模型：http://kexue.fm/archives/3922/基于双向LSTM的seq2seq
Babyzpj·2021-05-18 22:24

Transformer 详解

本文为转载，原文链接Transformer详解Transformer是谷歌大脑在2017年底发表的论文attentionisallyouneed中所提出的seq2seq模型。
Jarkata·2021-05-17 18:16

ChatGirl 一个基于 TensorFlow Seq2Seq 模型的聊天机器人[中文文档]

ChatGirl一个基于TensorFlowSeq2Seq模型的聊天机器人[中文文档]简介简单地说就是该有的都有了，但是总体跑起来效果还不好。还在开发中，它工作的效果还不好。
磐创AI_聊天机器人·2021-05-14 00:18

知识图谱如何助力文本摘要生成

引言文本生成类任务应用场景广泛，挑战性强，随着Attention-Seq2seq，Copy-Net，GPT这类极具影响力的工作出现，以及CNN/DM，LCSTS这样大规模生成类数据集的提出，生成类任务的热度也逐渐攀升
结构学AI·2021-05-08 06:35

神经机器翻译（seq2seq）教程（Neural Machine Translation (seq2seq) Tutorial）

原文：https://www.tensorflow.org/versions/r1.5/tutorials/seq2seq(全文99.9%由google翻译，自学使用)作者：ThangLuong，EugeneBrevdo
zqyadam·2021-05-04 22:07

Pytorch学习记录-使用RNN encoder-decoder训练短语表示用于统计机器翻译

Pytorch学习记录-torchtext和Pytorch的实例20.PyTorchSeq2Seq项目介绍在完成基本的torchtext之后，找到了这个教程，《基于Pytorch和torchtext来理解和实现
我的昵称违规了·2021-05-03 08:48

自然语言处理N天-Transformer学习（从seq2seq到Attention01）

新建MicrosoftPowerPoint演示文稿(2).jpg这个算是在课程学习之外的探索，不过希望能尽快用到项目实践中。在文章里会引用较多的博客，文末会进行reference。搜索Transformer机制，会发现高分结果基本上都源于一篇论文JayAlammar的《TheIllustratedTransformer》（图解Transformer），提到最多的Attention是Google的《
我的昵称违规了·2021-04-29 18:24

《Factored Neural Machine Translation》简读

paper来源：arXiv.org问题：实验任务----属于机器翻译（NMT）任务，具体来说，本paper实验任务为英语翻译为法语；paperwork----在传统NMT的“seq2seq+attention
wai7niu8·2021-04-28 17:59

神经机器翻译 之 tensorflow seq2seq

简介这篇博客主要解读seq2seq自然语言处理模型，重点有三部分。1.seq2seq模型介绍2.seq2seq的注意力机制3.实战tensorflowtutoral的实验过程。
涛涛江水向坡流·2021-04-26 09:42

【科软课程NLP】自然语言处理复习

目录自然语言处理1（分词）自然语言处理2（神经网络）自然语言处理3（词向量）自然语言处理4（循环神经网络）自然语言处理5（seq2seq）自然语言处理6（transformer）自然语言处理7（从EMLo
小柒很爱喵·2021-04-24 17:21

解析Tensorflow官方PTB模型的demo

【seq2seq】代码案例解读RNN模型作为一个可以学习时间序列的模型被认为是深度学习中比较重要的一类模型。在Tensorflow的官方教程中，有两个与之相关的模型被实现出来。
hzyido·2021-04-24 08:54

26.深度学习之自然语言处理Seq2Seq-2

26.1Seq2Seq应用机器翻译文本摘要情感对话生成代码补全26.2Seq2Seq存在的问题压缩损失了信息[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FqHJGxB4
大勇若怯任卷舒·2021-04-23 14:06

25.深度学习之自然语言处理textCNN与Seq2Seq-1

25.1TextCNN流程WordEmbedding比如：“今天天气很好,出来玩”Convolution卷积CPooling池化CMaxpooling使用softmaxk分类25.1.1TextCNN完整流程25.2Seq2Seq
大勇若怯任卷舒·2021-04-22 12:14

python通过Seq2Seq实现闲聊机器人

一、准备训练数据主要的数据有两个：1.小黄鸡的聊天语料：噪声很大2.微博的标题和评论：质量相对较高二、数据的处理和保存由于数据中存到大量的噪声，可以对其进行基础的处理，然后分别把input和target使用两个文件保存，即input中的第N行尾问，target的第N行为答后续可能会把单个字作为特征（存放在input_word.txt），也可能会把词语作为特征(input.txt)2.1小黄鸡的语料
·2021-04-21 17:22

Seq2Seq聊天机器人项目

（1）主要定义了seq2seq这样一个模型。首先是一个构造函数，在构造函数中定义了这个模型的参数。以及构成seq2seq的基本单元的LSTM单元是怎么构建的。
潇萧之炎·2021-04-20 08:32

谷歌机器翻译模型

|雷锋网GitHub-google/seq2seq:Ageneral-purposeencoder-decoderframeworkforTensorflowGoogleBrain：NMT训练成本太高？
菜鸟瞎编·2021-04-19 17:13

时间序列预测——DA-RNN模型

本文将介绍一种基于Seq2Seq模型(Encoder-Decoder模型)并结合Attention机制的时间序列预测方法。
MomodelAI·2021-04-19 00:49

2017.1-2017.8第二学期总结

•文献阅读本学期主要阅读了两方面的论文：1.非负矩阵分解方法用于话题探测；2.用seq2seq生成对话的相关论文。尝试了相关代码。
Ada_Bleau·2021-04-18 17:51

Transformer

自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。
京漂的小程序媛儿·2021-04-18 04:00

使用pytorch和torchtext搭建seq2seq

Pytorch-seq2seq学习0项目介绍0.1预备工作安装torchtext：pipinstalltorchtext该项目需要使用spacy作为分词工具，我们需要安装其英文版和德文版。
Anathema_b5dc·2021-04-15 08:53

时间序列预测：I概述

常用的模型，以下基本可以涵盖主流思想：传统时序模型：ARIMA，Prophet，EMD构造时序特征的统计学习方法：LR，GBDT(xgboost\lightgbm)深度学习方法：seq2seq，wavenet
YueTan·2021-04-13 22:15

深度学习中的注意力机制

目录Seq2Seq问题所在为”翻译“而生定义注意力机制”家族“概要自注意力机制（Self-Attention）柔性vs刚性注意力全局vs局部注
大脸猫Cc爱吃鱼·2021-04-13 14:45

transformer在图像分类上的应用以及pytorch代码实现

文章目录1.对transformers的简单介绍1.1序列数据的介绍（seq2seq）1.2self-Attention1.3transformer的完整结构2.transformers在图像分类上的pytorch
halo_wm·2021-04-09 13:57

5.1注意力机制 Attention is all you need

4、情感分类中的注意力5、seq2seqAttention参考本
炫云云·2021-04-05 15:27

注意力机制详述

2、软性注意力机制的数学原理；3、软性注意力机制、Encoder-Decoder框架与Seq2Seq4、自注意力模型的原理。一
UpUpCAI·2021-03-18 21:48

Pytorch基础教程（8）: 强化——混合前端的seq2seq模型部署

本节将介绍如何把seq2seq模型转换为PyTorch可用的前端混合Torch脚本。我们要转换的模型来自于聊天机器人教程Chatbottutorial。
废物药浪学代码·2021-03-13 12:14

【PyTorch】6 法语英语翻译RNN实战——基于Attention的seq2seq模型、Attention可视化

基于注意力机制的seq2seq神经网络翻译1.本文工作2.加载数据文件3.Seq2Seq模型4.GRU5.准备训练数据6.编码器7.解码器7.1简单解码器7.2Attention解码器8.训练模型9.评价
Yang SiCheng·2021-03-10 20:32

PaddlePaddle飞桨《高层API助你快速上手深度学习》『深度学习7日打卡营』第五课--基于seq2seq的对联生成

PaddlePaddle飞桨《高层API助你快速上手深度学习》『深度学习7日打卡营』第五课–基于seq2seq的对联生成对联，是汉族传统文化之一，是写在纸、布上或刻在竹子、木头、柱子上的对偶语句。
livingbody·2021-02-08 18:08

【paddle深度学习高层API七日打卡营】三岁水课第五天——新春对联

paddle深度学习高层API七日打卡营第五天基本概念课程目标文本生成任务seq2seqattention机制（权重）数据处理长短时记忆网络（LSTM）nn.LSTM的输出注意力机制（Attention
三岁学编程·2021-02-08 16:18

【笔记-深度学习之NLP】-20210207-深度学习之情感分析/情感倾向及框架/代码

情感倾向及框架/代码工具编程语言：Python其他Python包：Numpy（维度数组与矩阵运算）、Pillow(图像处理标准库)深度学习算法：Linear、LeNet、ResNet|知乎、LSTM|知乎、Seq2Seq
super_nnc·2021-02-07 12:14

【笔记-深度学习之特征点检测】-20210206-深度学习之人脸关键点检测及框架/代码

深度学习之人脸关键点检测及框架/代码工具编程语言：Python其他Python包：Numpy（维度数组与矩阵运算）、Pillow(图像处理标准库)深度学习算法：Linear、LeNet、ResNet|知乎、LSTM|知乎、Seq2Seq
super_nnc·2021-02-06 22:51

【笔记-深度学习之图像分类】-20210205-深度学习之图像分类理论及框架/代码

深度学习之图像分类理论及框架/代码工具编程语言：Python其他Python包：Numpy（维度数组与矩阵运算）、Pillow(图像处理标准库)深度学习算法：Linear、LeNet、ResNet|知乎、LSTM|知乎、Seq2Seq
super_nnc·2021-02-06 21:52

【论文泛读04】用神经网络进行序列到序列（seq2seq）学习

贴一下汇总贴：论文阅读记录论文链接：《SequencetoSequenceLearningwithNeuralNetworks》一、摘要深度神经网络(DNNs)是一种功能强大的模型，在困难的学习任务中取得了优异的性能。尽管DNNs在有大型标记训练集的情况下工作良好，但它们不能用于将序列映射到序列。在这篇文章中，我们提出了一种一般的端到端方法来学习序列，它对序列结构做出最小的假设。我们的方法使用多层
及时行樂_·2021-02-06 10:44

【笔记-深度学习及实践初步】-20210204-深度学习相关基础及框架/代码

深度学习相关基础及框架/代码工具编程语言：Python其他Python包：Numpy（维度数组与矩阵运算）、Pillow(图像处理标准库)深度学习算法：Linear、LeNet、ResNet|知乎、LSTM|知乎、Seq2Seq
super_nnc·2021-02-04 10:42
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他