Seq-to-Seq

【史上最本质】序列模型：RNN、双向 RNN、LSTM、GRU、Seq-to-Seq、束搜索、Transformer、Bert

序列模型：RNN、双向RNN、LSTM、GRU、Seq-to-Seq、束搜索、Transformer、Bert序列模型是啥RNN结构双向RNN长短期记忆递归神经网络LSTM门控循环单元GRU编码器-解码器

Debroon·2024-02-03 11:32

【Bert101】变压器模型背后的复杂数学【02/4】

它克服了seq-to-seq模型（如RNN等）无法捕获文本中的长期依赖性的局限性。变压器架构被证明是革命性架构（如BERT、GPT和T5及其变体）的基石。

无水先生·2023-08-13 21:45

大模型 Transformer介绍-Part1

它克服了seq-to-seq模型（如RNN等）无法捕获文本中的长期依赖性的局限性。事实证明，transformer架构是BERT、GPT和T5及其变体等革命性架构的基石。

一支烟一朵花·2023-06-16 22:42

Huggingface微调BART的代码示例：WMT16数据集训练新的标记进行翻译

BART模型是用来预训练seq-to-seq模型的降噪自动编码器（autoencoder）。

deephub·2023-04-09 02:09

从头实现一个深度学习对话系统--Seq-to-Seq模型详解

上一篇文章已经介绍了几篇关于Seq-to-Seq模型的论文和应用，这里就主要从具体的模型细节、公式推导、结构图以及变形等几个方向详细介绍一下Seq-to-Seq模型。

liuchongee·2023-03-14 07:47

Abstractive Text Summarization using Seq-to-Seq RNNs and Beyond

今天继续分享一篇sentencelevelabstractivesummarization相关的paper，出自于IBMWatson，AbstractiveTextSummarizationusingSequence-to-sequenceRNNsandBeyond本文是一篇非常优秀的paper，在seq2seq+attention的基础上融合了很多的features、trick进来，提出了多组对

weixin_34405332·2023-02-02 08:10

BERT模型

转载https://blog.csdn.net/jiaowoshouzi/article/details/89073944bertNLP发展史seq-to-seq在encode阶段，第一个节点输入一个词

1015号居民·2023-01-26 12:47

生成模型的中Attention Mask说明

生成模型是基于Seq-to-Seq(Encoder-Decoder)结构，输入的文本经过Encoder编码得到向量再输入到Decoder解码生成一个文本。

xuanningmeng·2023-01-07 07:47

深度学习与人类语言处理李宏毅2020课程精华提要（2）模型的构成之Seq-to-Seq角度

视频主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.htmlB站观看（对应P5-P6-P7）：https://www.bilibili.com/video/BV1RE411g7rQ资料汇总：度盘密码:4v5i（以上资料来源于网络）以下内容只是对上述资料进行提炼，建议观看原视频，感谢李宏毅老师和其团队的辛苦付出！系列文章索引：深度学习与人

MessyPaste·2022-12-28 02:49

【论文笔记】Learn Spelling from Teachers: Transferring Knowledge from LM to Seq-to-Seq Speech Recognition

题目LearnSpellingfromTeachers:TransferringKnowledgefromLanguageModelstoSequence-to-SequenceSpeechRecognition链接https://arxiv.org/pdf/1907.06017.pdf标签知识蒸馏,外部语言模型,端到端,sequence-to-sequenceContributions基于知识蒸

TrainerNN·2022-11-14 09:21

Sequence to Sequence Learning with Neural Networks 论文内容介绍

比如做MT任务等等，这些序列任务其实对于输出来讲，长度的可变的，例如：English译为“英语”，实际上序列的长度发生了变化，传统的DNN是解决不了这个问题的，于是Google团队提出了seq-to-seq

晴晴.·2020-08-21 08:02

从头实现一个深度学习对话系统--tensorflow Seq-to-Seq API介绍和源码分析

上一篇文章中我们已经分析了各种seq2seq模型，从理论的角度上对他们有了一定的了解和认识，那么接下来我们就结合tensorflow代码来看一下这些模型在tf中是如何实现的，相信有了对代码的深层次理解，会在我们之后构建对话系统模型的时候有很大的帮助。tensorflow版本升级之后把之前的tf.nn.seq2seq的代码迁移到了tf.contrib.legacy_seq2seq下面，其实这部分AP

liuchongee·2020-07-11 11:40

从头实现一个深度学习的对话系统--1,论文简介

上篇文章我们介绍了DRL用于对话系统的应用，看完论文我们会发现，其是在一个Seq-to-Seq模型的基础上进行重新训练进而得到效果的提升，那么自然我们会想到如何使用Seq-to-Seq模型构造基础的对话系统呢

liuchongee·2020-07-02 08:05

Python 自然语言处理笔记（六）—— 基于seq-to-seq的自动问答，DeepQA

基于seq-to-seq的自动问答——DeepQA模型Github地址:https://github.com/Conchylicultor/DeepQA一.使用预训练模型ExtractthezipfileinsideDeepQA

Dic0k·2019-05-10 10:03

推荐频道