Seq2Seq

Text-to-SQL小白入门（二）——Transformer学习

1.引言在上一篇《Text-to-SQL小白入门（一）》中，我们介绍了Text-to-SQL研究的定义、意义、研究方法以及未来展望，其中在介绍研究方法时，多次提到了Seq2Seq框架以及相应的Encoder-Decoder
junewgl·2023-08-17 16:27

tensorflow Seq2seq编码函数详解

tf.contrib.layers.embed_sequence链接：https://www.tensorflow.org/api_docs/python/tf/contrib/layers/embed_sequence说明：对序列数据执行embedding操作，输入[batch_size,sequence_length]的tensor，返回[batch_size,sequence_length,
_曹杰·2023-08-17 04:50

pycorrector一键式文本纠错工具，整合了BERT、MacBERT、ELECTRA、ERNIE等多种模型，让您立即享受纠错的便利和效果

pycorrector：一键式文本纠错工具，整合了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer、T5等多种模型，让您立即享受纠错的便利和效果
汀、人工智能·2023-08-17 02:56

机器学习&&深度学习——机器翻译（序列生成策略）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助机器翻译（序列生成策略
布布要成为最负责的男人·2023-08-16 07:19

bert+seq2seq 周公解梦，看AI如何解析你的梦境？

本文代码:https://github.com/saiwaiyanyu/tensorflow-bert-seq2seq-dream-decoder介绍在参与的项目和产品中，涉及到模型和算法的需求，主要以自然语言处理
saiwaiyanyu·2023-08-15 19:58

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2等模型，开箱即用1.介绍TextGen实现了多种文本生成模型，包括：LLaMA、ChatGLM、UDA、GPT2、Seq2Seq
·2023-08-15 18:03

认识Transformer：入门知识

PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=60文章目录Self-AttentionlayerMulti-headself-attentionPositionalencodingSeq2SeqwithAttentionTransformerUnivers
_Summer tree·2023-08-14 23:45

机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——seq2seq实现机器翻译（数据集处理）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助之前已经讲解过了seq2seq
布布要成为最负责的男人·2023-08-13 12:44

机器学习&&深度学习——从编码器-解码器架构到seq2seq（机器翻译）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——注意力提示、注意力池化（核回归）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助接下来就要慢慢开始实战了，把这边过了，我们接下来就要进行机器翻译的实战了。实战完，我们需要开始学习当今很先进的transformer以及BERT，并且做点模型出来了。最近有点累了，做完这个以后会休息一两天然后继续肝，预推免前一定要
布布要成为最负责的男人·2023-08-13 07:49

机器学习&&深度学习——seq2seq实现机器翻译（数据集处理）

‍作者简介：一位即将上大四，正专攻机器学习的保研er上期文章：机器学习&&深度学习——从编码器-解码器架构到seq2seq（机器翻译）订阅专栏：机器学习&&深度学习希望文章对你们有所帮助在理解了seq2seq
布布要成为最负责的男人·2023-08-13 07:48

PyTorch翻译官网教程-NLP FROM SCRATCH: TRANSLATION WITH A SEQUENCE TO SEQUENCE NETWORK AND ATTENTION

NLPFromScratch:TranslationwithaSequencetoSequenceNetworkandAttention—PyTorchTutorials2.0.1+cu117documentation使用Seq2Seq
poorCoder_·2023-08-13 06:25

transformer（”变形金刚“）

当时已经将注意力机制引入了编码器-解码器架构，典型的例子就是Seq2seq。
Pingyuanyi·2023-08-12 15:10

transformer--变形金刚

bert就是无监督训练的transformertransformer:seq2seqmodelwith“self-attention”单向的RNN:在输出b4的时候，已经看了a1~a4在输出b3的时候，
Tingsie·2023-08-12 15:39

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用

开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用TextGen:ImplementationofTextGenerationmodels1
汀、人工智能·2023-08-12 14:00

BERT原理&Fine Tuning&Bert变种

文章目录BERT原理训练时的任务任务一任务二任务二的改进模型的输入BERT-FineTuning单个句子的预测类序列标注类Q&A类seq2seq？
zipper112·2023-08-11 17:23

竞赛项目 深度学习的智能中文对话问答机器人

文章目录0简介1项目架构2项目的主要过程2.1数据清洗、预处理2.2分桶2.3训练3项目的整体结构4重要的API4.1LSTMcells部分：4.2损失函数：4.3搭建seq2seq框架：4.4测试部分
Mr.D学长·2023-08-11 06:26

（八）sequence to sequence —6

最后一关：Encoder：多层双向lstmAttention机制decoder：动态实现bi-directional_dynamic_rnn基于tensorflow1.4Seq2seq的实现importhelpersimporttensorflowastffromtensorflow.python.utilimportnestfromtensorflow.contribimportseq2seq
天生smile·2023-08-10 00:05

seq2seq安装问题

https://blog.csdn.net/yangzm/article/details/82626798gitclonehttps://github.com/google/seq2seq.gitcdseq2seqInstallpackageanddependenciespipinstall-e
王小鸟_wpcool·2023-08-09 07:33

全景图！最近20年，自然语言处理领域的发展

夕小瑶科技说原创作者|小戏、Python最近这几年，大家一起共同经历了NLP（写一下全称，NaturalLanguageProcessing）这一领域井喷式的发展，从Word2Vec到大量使用RNN、LSTM，从seq2seq
夕小瑶·2023-08-08 11:12

NLP——机器翻译中的Transformer

EncoderDecoderScaledDot-ProductAttentionMulti-HeadAttentionLayerNormalizationMaskPositionalEmbeddingPosition-wiseFeed-ForwardNetworkTransformer优点框架简介Transformer就是一个升级版的Seq2Seq
J_Xiong0117·2023-08-08 08:04

在Seq2Seq和注意力机制中如何可视化模型细节

参考：https://www.jianshu.com/p/df7906a2a28e上面的参考博文中重点介绍了Bert的可视化后的结果，将Bert中的注意力机制通过Tensor2Tensor工具描述出来。另外另一个开源库BertViz有含有Transformer模型的各种模型更详细的可视化。https://github.com/jessevig/bertvizBertViz是用于可视化Transfo
2cd1·2023-08-07 14:33

Google AI 机器翻译论文《The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation》

一、背景当前，seq2seq的模型在机器翻译中取得了一定的成果，典型的是将RNN循环神经网络模型作为基础，应用到seq2seq模型中。该篇论文的创作思路：第一步，将其他表现优秀的模型和训练技术，添加到
布口袋_天晴了·2023-08-06 21:30

双目立体视觉论文阅读(1)STTR

RevisitingStereoDepthEstimationFromaSequence-to-SequencePerspectivewithTransformers》论文链接：STTR代码链接：STTR本文从Seq2Seq
www.flybird.xyz·2023-08-06 21:06

自然语言处理: 第六章Transformer- 现代大模型的基石

2017年google发表的AttentionIsAllYouNeed(arxiv.org)），接上面一篇attention之后，transformer是基于自注意力基础上引申出来的结构，其主要解决了seq2seq
曼城周杰伦·2023-08-04 21:00

使用 nn.Transformer 和 TorchText 进行序列到序列建模

transformer模型在很多seq2seq问题上效果更好，且更容易实现并行训练。
yanglamei1962·2023-08-04 08:17

各种Transformer模型总结与比较

本文将Transformer分为三大类别，分别是seq2seq、Autoregressive（AR）和Autoencoding（AE），以及介绍了BERT、DeBERTa、GPT、BART等等各种transformer
AI强仔·2023-08-03 09:26

什么是注意力机制

注意力机制是注意力计算规则能够应用的深度学习网络的载体,同时包括一些必要的全连接层以及相关张量处理,使其与应用网络融为一体.使用自注意力计算规则的注意力机制称为自注意力机制.说明:NLP领域中,当前的注意力机制大多数应用于seq2seq
AI耽误的大厨·2023-08-02 12:13

注意力机制

这就是一种注意力机制，同样在seq2seq模型中，其他单词对当前单词翻译造成的影响也不是相同的，会有重要性差异。本文主要关注注意力机制，不会过多介绍具体模型注意力机
神奇呵呵·2023-08-02 12:12

NLP实战7：seq2seq翻译实战-Pytorch复现

本文为[365天深度学习训练营]内部限免文章（版权归*K同学啊*所有）作者：[K同学啊]本周任务：●请根据N5、N6周内容，为解码器添加上注意力机制一、前期准备准备好数据集eng-fra.txtfrom__future__importunicode_literals,print_function,divisionfromioimportopenimportunicodedataimportstri
牛大了2023·2023-08-02 10:21

NLP实战6：seq2seq翻译实战-Pytorch复现-小白版

目录一、前期准备1.搭建语言类2.文本处理函数3.文件读取函数二、Seq2Seq模型1.编码器（Encoder）2.解码器（Decoder）三、训练1.数据预处理2.训练函数四、训练与评估本文为[365
牛大了2023·2023-08-02 10:51

NLP From Scratch: 基于注意力机制的 seq2seq 神经网络翻译

NLPFromScratch:基于注意力机制的seq2seq神经网络翻译这是关于“从头开始进行NLP”的第三篇也是最后一篇教程，我们在其中编写自己的类和函数来预处理数据以完成NLP建模任务。
yanglamei1962·2023-08-01 12:08

[玩转AIGC]sentencepiece训练一个Tokenizer(标记器)

目录一、前言二、安装三、自己训练一个tokenizer四、模型运行五、拓展一、前言前面我们介绍了一种字符编码方式【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码（一）这种方式是对一个一个字符编码
六五酥·2023-07-30 16:20

【NLP】温和解读：transformer的核心思想

在之前的博客文章《从Seq2Seq到注意力：革命性的序列建模》中，我讨论了注意力机制和Bahdanau注意力的起源。在本博客中，我将以之前的信息为基础。因此，如果您还没有查看上一篇文章，请去查看。
无水先生·2023-07-28 01:19

【如何训练一个中译英翻译器】LSTM机器翻译模型部署之onnx（python）（四）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:05

【如何训练一个中译英翻译器】LSTM机器翻译模型部署之ncnn（python）（五）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:05

【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:35

【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:34

【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）

系列文章【如何训练一个中译英翻译器】LSTM机器翻译seq2seq字符编码（一）【如何训练一个中译英翻译器】LSTM机器翻译模型训练与保存（二）【如何训练一个中译英翻译器】LSTM机器翻译模型部署（三）
六五酥·2023-07-26 11:32

机器学习：Transformer

Transformersequence-to-sequence(seq2seq)很大语音没有文本，7000种中超半数没有文字。
uncle_ll·2023-07-25 00:39

seq2seq、attention、self-attention、transformer、bert

seq2seqseq2seq：输入序列，输出序列，将输入的语言转为一个向量，最后输出再将向量转为语言shortcoming:Thefinalstateisincapableofrememberingalongsequence
qq_48566899·2023-07-24 23:58

Self-Attention

输入每一个向量都有一个标签（SequenceLabeling）输入一整个序列对应一个标签模型自己决定标签数目（Seq2Seq）一、SequenceLabeling的方法全连接（fully-connected
笔下万码生谋略·2023-07-24 21:41

NLP实战8：图解 Transformer笔记

解码部分2.4多头注意力机制2.5线性层和softmax2.6损失函数3.参考代码本文为[365天深度学习训练营]内部限免文章（版权归*K同学啊*所有）作者：[K同学啊]Transformer整体结构图，与seq2seq
牛大了2023·2023-07-24 18:12

Encoder-Decoder、Seq2Seq、 以及Transformer之间的关系

结论写在前面：Encoder-Decoder是一种架构，范围非常广泛，只要是用一个编码结构一个解码结构的模型都是Encoder-Decoder架构seq2seq和Encoder-Decoder基本相同，
咖乐布小部·2023-07-24 15:20

多图+公式全面解析RNN,LSTM,Seq2Seq,Attention注意力机制

本文将会使用大量的图片和公式推导通俗易懂地讲解RNN,LSTM,Seq2Seq和attention注意力机制，希望帮助初学者更好掌握且入门。
CristianoC20·2023-07-24 15:49

RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer

回顾并总结一下RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer的关系的差别1.RNN：之前的博客专门总结过，这里提一下它的缺点：梯度消失/爆炸；
鱼鱼9901·2023-07-24 14:47

【NLP】机器翻译相关原理

一、说明对于机器翻译中的seq2seq有哪些技术特点，本文将对这个技术的系列技术，以及其transformer机制进行叙述。
无水先生·2023-07-21 11:13

Scheduled Sampling简单理解

paperlink起因最近写seq2seq跑时序预测，问题层出不穷，还是基础打的不牢固；早上搜索到时候看到ScheduledSampling还在疑惑是啥？
cwh_rs_giser·2023-07-19 23:11

基于Pytorch实现Seq2Seq模型进行机器翻译（实现了Attention机制、编码器&解码器的多层双向结构）

 本文实现了带有Attention机制的Seq2Seq，并实现了其内部的LSTMencoder&decoder的多层或双向结构。
#苦行僧·2023-07-19 23:18

手把手带你实现ChatGLM2-6B的P-Tuning微调

参考文献：chatglm2ptuning注意问题1：AttributeError:‘Seq2SeqTrainer’objecthasnoattribute'is_deepspeed_enabltorch.distributed.elastic.multiprocessing.errors.ChildFailedError
stay_foolish12·2023-07-19 21:32

T5模型: Transfer Text-to-Text Transformer（谷歌）

一句话总结T5:大一统模型，seq2seq形式完成各类nlp任务，大数据集预训练，大量实验，财大气粗，诚意满满，给nlp预训练模型领域提供了一个通用框架，提供了一套建议参数。作者测过包括encoder
#苦行僧·2023-07-19 14:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他