Seq2Seq

attention模型方法综述

以基于seq2seq模型的机器翻译为例，如果decoder只用encoder最后一个时刻输出的hiddenstate，可能会有两个问题（我个人的理解）encoder最后一个hiddenstate，与句子末端词汇的关联较大
凌烟阁主5221·2023-08-31 20:06

出现raise NotImplementedError报错

importcollectionsimporttorchfromd2limporttorchasd2limportmathfromtorchimportnnclassSeq2SeqEncoder(d2l.Encoder
抓个马尾女孩·2023-08-29 14:19

2023.4.23 自注意力机制

比如对于一个英文句子，每一个单词都判断是什么词性输入n个向量，输出1个向量，这是常见的classification问题，也就是分类问题，比如通过语音识别出是哪个人输入n个向量，不知道会输出多少个向量，这是seq2seq
一条自私的鱼·2023-08-29 06:23

李宏毅机器学习笔记：结构学习，HMM，CRF

HMM1.1Sequence2Sequence1.2HMM1.3Viterbi算法1.3HMM模型的缺点2、CRF2.1CRF模型2.2CRF模型训练1、隐马尔可夫模型HMM1.1Sequence2Sequence什么是Seq2Seq
ZEERO~·2023-08-28 22:43

深度学习11：Transformer

和经典的seq2seq模型一样，Transformer模型中也采用了encoer
ZhangJiQun&MXP·2023-08-27 10:33

关于Transformers库预训练模型输入的一些细节问题

在RNN的时代，对于Seq2Seq模型，我们必不可少的要对数据进行处理添加开始标志[bos]和结束标志[eos],这样做的目的是在解码阶段模型进行自回归语言模型时，模型可以收到一个结束标
一如年少模样丶·2023-08-26 08:30

Seq2Seq 经典论文

LearningPhraseRepresentationsusingRNNEncoder–DecoderforStatisticalMachineTranslationSequencetoSequenceLearningwithNeuralNetworks区别在于其source编码后的向量C直接作为Decoder阶段RNN的初始化state，而不是在每次decode时都作为RNNcell的输入。此
京漂的小程序媛儿·2023-08-25 13:50

论文阅读：DIN-SQL: Decomposed In-Context Learning of Text-to-SQL withSelf-Correction

NL2SQL是将自然语言转化为SQL的任务，该任务隶属于NLP的子任务，NL2SQL在AIGC时代之前，以seq2seq、BERT等系列的模型在NL2SQL的主流数据集上取得了不错的效果，2022年底，
城南皮卡丘·2023-08-22 17:46

【李宏毅机器学习】注意力机制

输出我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分给多少输出多少给一堆向量，输出一个label，比如说情感分析还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，
INGg__·2023-08-22 17:29

人工智能之RNN, Seq2Seq, Attention注意力机制完全解析

本文主要介绍经典的RNN结构，以及RNN的变种（包括Seq2Seq结构和Attention机制）。希望这篇文章能够帮助初学者更好地入门。
大数据AI人工智能培训专家培训讲师叶梓·2023-08-20 16:12

【NLP】完全解析RNN, Seq2Seq, Attention注意力机制

这里仅仅是备份，具体原文章请查看完全解析RNN,Seq2Seq,Attention注意力机制-知乎目录1.经典的RNN结构2.SequencetoSequence模型编辑2.1Embedding2.2Seq2Seq
mjiansun·2023-08-20 16:42

NLP中的RNN、Seq2Seq与attention注意力机制

目录NLP自然语言处理的RNN、Seq2Seq与attention注意力机制RNN循环神经网络前馈网络入门前馈网络循环网络多层感知器架构示例循环神经网络的运作原理展开RNNseq2seq模型Attention
ZhangJiQun&MXP·2023-08-20 16:12

A Diversity-Promoting Objective Function for Neural Conversation Models》阅读笔记

火爆的QA系统，现在常采用seq2seq的模型来做，这篇文章是为了优化一个问题。
ColdCoder·2023-08-19 19:48

一键式文本纠错工具，整合了BERT、ERNIE等多种模型，让您立即享受纠错的便利和效果

实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评
·2023-08-19 11:38

Text-to-SQL小白入门（二）——Transformer学习

1.引言在上一篇《Text-to-SQL小白入门（一）》中，我们介绍了Text-to-SQL研究的定义、意义、研究方法以及未来展望，其中在介绍研究方法时，多次提到了Seq2Seq框架以及相应的Encoder-Decoder
junewgl·2023-08-17 16:27

tensorflow Seq2seq编码函数详解

tf.contrib.layers.embed_sequence链接：https://www.tensorflow.org/api_docs/python/tf/contrib/layers/embed_sequence说明：对序列数据执行embedding操作，输入[batch_size,sequence_length]的tensor，返回[batch_size,sequence_length,
_曹杰·2023-08-17 04:50

pycorrector一键式文本纠错工具，整合了BERT、MacBERT、ELECTRA、ERNIE等多种模型，让您立即享受纠错的便利和效果

pycorrector：一键式文本纠错工具，整合了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer、T5等多种模型，让您立即享受纠错的便利和效果
汀、人工智能·2023-08-17 02:56

机器学习&&深度学习——机器翻译（序列生成策略）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助机器翻译（序列生成策略
布布要成为最负责的男人·2023-08-16 07:19

bert+seq2seq 周公解梦，看AI如何解析你的梦境？

本文代码:https://github.com/saiwaiyanyu/tensorflow-bert-seq2seq-dream-decoder介绍在参与的项目和产品中，涉及到模型和算法的需求，主要以自然语言处理
saiwaiyanyu·2023-08-15 19:58

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用1.介绍TextGen实现了多种文本生成模型，包括：LLaMA、ChatGLM、UDA、GPT2、Seq2Seq
·2023-08-15 18:03

认识Transformer：入门知识

PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=60文章目录Self-AttentionlayerMulti-headself-attentionPositionalencodingSeq2SeqwithAttentionTransformerUnivers
_Summer tree·2023-08-14 23:45

机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——seq2seq实现机器翻译（数据集处理）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助之前已经讲解过了seq2seq
布布要成为最负责的男人·2023-08-13 12:44

机器学习&&深度学习——从编码器-解码器架构到seq2seq（机器翻译）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——注意力提示、注意力池化（核回归）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助接下来就要慢慢开始实战了，把这边过了，我们接下来就要进行机器翻译的实战了。实战完，我们需要开始学习当今很先进的transformer以及BERT，并且做点模型出来了。最近有点累了，做完这个以后会休息一两天然后继续肝，预推免前一定要
布布要成为最负责的男人·2023-08-13 07:49

机器学习&&深度学习——seq2seq实现机器翻译（数据集处理）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——从编码器-解码器架构到seq2seq（机器翻译）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助在理解了seq2seq
布布要成为最负责的男人·2023-08-13 07:48

PyTorch翻译官网教程-NLP FROM SCRATCH: TRANSLATION WITH A SEQUENCE TO SEQUENCE NETWORK AND ATTENTION

NLPFromScratch:TranslationwithaSequencetoSequenceNetworkandAttention—PyTorchTutorials2.0.1+cu117documentation使用Seq2Seq
poorCoder_·2023-08-13 06:25

transformer（”变形金刚“）

当时已经将注意力机制引入了编码器-解码器架构，典型的例子就是Seq2seq。
Pingyuanyi·2023-08-12 15:10

transformer--变形金刚

bert就是无监督训练的transformertransformer:seq2seqmodelwith“self-attention”单向的RNN:在输出b4的时候，已经看了a1~a4在输出b3的时候，
Tingsie·2023-08-12 15:39

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用TextGen:ImplementationofTextGenerationmodels1
汀、人工智能·2023-08-12 14:00

BERT原理&Fine Tuning&Bert变种

文章目录BERT原理训练时的任务任务一任务二任务二的改进模型的输入BERT-FineTuning单个句子的预测类序列标注类Q&A类seq2seq？
zipper112·2023-08-11 17:23

竞赛项目 深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
Mr.D学长·2023-08-11 06:26

（八）sequence to sequence —6

最后一关：Encoder：多层双向lstmAttention机制decoder：动态实现bi-directional_dynamic_rnn基于tensorflow1.4Seq2seq的实现importhelpersimporttensorflowastffromtensorflow.python.utilimportnestfromtensorflow.contribimportseq2seq
天生smile·2023-08-10 00:05

seq2seq安装问题

https://blog.csdn.net/yangzm/article/details/82626798gitclonehttps://github.com/google/seq2seq.gitcdseq2seqInstallpackageanddependenciespipinstall-e
王小鸟_wpcool·2023-08-09 07:33

全景图！最近20年，自然语言处理领域的发展

夕小瑶科技说原创作者|小戏、Python最近这几年，大家一起共同经历了NLP（写一下全称，NaturalLanguageProcessing）这一领域井喷式的发展，从Word2Vec到大量使用RNN、LSTM，从seq2seq
夕小瑶·2023-08-08 11:12

NLP——机器翻译中的Transformer

EncoderDecoderScaledDot-ProductAttentionMulti-HeadAttentionLayerNormalizationMaskPositionalEmbeddingPosition-wiseFeed-ForwardNetworkTransformer优点框架简介Transformer就是一个升级版的Seq2Seq
J_Xiong0117·2023-08-08 08:04

在Seq2Seq和注意力机制中如何可视化模型细节

参考：https://www.jianshu.com/p/df7906a2a28e上面的参考博文中重点介绍了Bert的可视化后的结果，将Bert中的注意力机制通过Tensor2Tensor工具描述出来。另外另一个开源库BertViz有含有Transformer模型的各种模型更详细的可视化。https://github.com/jessevig/bertvizBertViz是用于可视化Transfo
2cd1·2023-08-07 14:33

Google AI 机器翻译论文《The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation》

一、背景当前，seq2seq的模型在机器翻译中取得了一定的成果，典型的是将RNN循环神经网络模型作为基础，应用到seq2seq模型中。该篇论文的创作思路：第一步，将其他表现优秀的模型和训练技术，添加到
布口袋_天晴了·2023-08-06 21:30

双目立体视觉论文阅读(1)STTR

RevisitingStereoDepthEstimationFromaSequence-to-SequencePerspectivewithTransformers》论文链接：STTR代码链接：STTR本文从Seq2Seq
www.flybird.xyz·2023-08-06 21:06

自然语言处理: 第六章Transformer- 现代大模型的基石

2017年google发表的AttentionIsAllYouNeed(arxiv.org)），接上面一篇attention之后，transformer是基于自注意力基础上引申出来的结构，其主要解决了seq2seq
曼城周杰伦·2023-08-04 21:00

使用 nn.Transformer 和 TorchText 进行序列到序列建模

transformer模型在很多seq2seq问题上效果更好，且更容易实现并行训练。
yanglamei1962·2023-08-04 08:17

各种Transformer模型总结与比较

本文将Transformer分为三大类别，分别是seq2seq、Autoregressive（AR）和Autoencoding（AE），以及介绍了BERT、DeBERTa、GPT、BART等等各种transformer
AI强仔·2023-08-03 09:26

什么是注意力机制

注意力机制是注意力计算规则能够应用的深度学习网络的载体,同时包括一些必要的全连接层以及相关张量处理,使其与应用网络融为一体.使用自注意力计算规则的注意力机制称为自注意力机制.说明:NLP领域中,当前的注意力机制大多数应用于seq2seq
AI耽误的大厨·2023-08-02 12:13

注意力机制

这就是一种注意力机制，同样在seq2seq模型中，其他单词对当前单词翻译造成的影响也不是相同的，会有重要性差异。本文主要关注注意力机制，不会过多介绍具体模型注意力机
神奇呵呵·2023-08-02 12:12

NLP实战7：seq2seq翻译实战-Pytorch复现

本文为[365天深度学习训练营]内部限免文章（版权归*K同学啊*所有）作者：[K同学啊]本周任务：●请根据N5、N6周内容，为解码器添加上注意力机制一、前期准备准备好数据集eng-fra.txtfrom__future__importunicode_literals,print_function,divisionfromioimportopenimportunicodedataimportstri
牛大了2023·2023-08-02 10:21

NLP实战6：seq2seq翻译实战-Pytorch复现-小白版

目录一、前期准备1.搭建语言类2.文本处理函数3.文件读取函数二、Seq2Seq模型1.编码器（Encoder）2.解码器（Decoder）三、训练1.数据预处理2.训练函数四、训练与评估本文为[365
牛大了2023·2023-08-02 10:51

NLP From Scratch: 基于注意力机制的 seq2seq 神经网络翻译

NLPFromScratch:基于注意力机制的seq2seq神经网络翻译这是关于“从头开始进行NLP”的第三篇也是最后一篇教程，我们在其中编写自己的类和函数来预处理数据以完成NLP建模任务。
yanglamei1962·2023-08-01 12:08

[玩转AIGC]sentencepiece训练一个Tokenizer(标记器)

目录一、前言二、安装三、自己训练一个tokenizer四、模型运行五、拓展一、前言前面我们介绍了一种字符编码方式【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码（一）这种方式是对一个一个字符编码
六五酥·2023-07-30 16:20

【NLP】温和解读：transformer的核心思想

在之前的博客文章《从Seq2Seq到注意力：革命性的序列建模》中，我讨论了注意力机制和Bahdanau注意力的起源。在本博客中，我将以之前的信息为基础。因此，如果您还没有查看上一篇文章，请去查看。
无水先生·2023-07-28 01:19

【如何训练一个中译英翻译器】LSTM机器翻译模型部署之onnx（python）（四）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:05

【如何训练一个中译英翻译器】LSTM机器翻译模型部署之ncnn（python）（五）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:05

【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:35
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他