RNNs

《自然语言处理实战入门》深度学习 ---- 预训练模型初探

应用至下游任务微调策略未来研究方向参考文献前言随着深度学习的发展，各种神经网络被广泛用于解决自然语言处理(NLP)任务，如卷积神经网络(convolutionalneuralnetworks,CNNs)、递归神经网络(neuralnetworks,RNNs

shiter·2025-03-12 02:21

论文阅读笔记（9）——《A Practical Survey on Faster and Lighter Transformers》

1Abstract2Introductionrecurrentneuralnetworks(RNNs)longshort-termmemory(LSTM)networksequencetosequenceframeworkinter-attentionrelativeeffectivecontextlength

StriveQueen·2025-01-26 08:32

基于深度学习的动态场景理解

该技术在自动驾驶、智能监控、机器人导航、增强现实等领域有着广泛应用，通过深度学习模型，特别是卷积神经网络（CNNs）、递归神经网络（RNNs）、图神经网络（GNNs）等，对复杂动态场景进行实时解读。

SEU-WYL·2024-09-09 03:14

时间序列预测——BiGRU模型

在深度学习领域，循环神经网络（RecurrentNeuralNetworks,RNNs）是常用于时间序列预测的模型之一。

Persist_Zhang·2024-02-13 09:46

大模型理论基础初步学习笔记——第一章引言

panda_dbdx·2024-01-24 16:48

【博士每天一篇论文-技术综述】Machine Learning With Echo State Networks 一篇系统讲解ESN知识的五星文章

阅读时间：2023-11-211介绍年份：2020作者：徐元超，曼尼托巴大学期刊：无引用量：无这篇文章是一篇技术报告，从递归神经网络（RNNs）引入到回声状态网络（ESNs）。

Better Bench·2024-01-22 09:00

循环神经网络语言模型：探索不同的编码器解码器架构

1.背景介绍循环神经网络（RecurrentNeuralNetworks,RNNs）是一种人工神经网络，可以处理时间序列数据。

OpenChat·2024-01-09 21:46

深度学习今年来经典模型优缺点总结，包括卷积、循环卷积、Transformer、LSTM、GANs等

文章目录1、卷积神经网络（ConvolutionalNeuralNetworks，CNN）1.1优点1.2缺点1.3应用场景1.4网络图2、循环神经网络（RecurrentNeuralNetworks，RNNs

JJxiao24·2023-12-02 10:39

深度学习之五（递归神经网络--Recursive Neural Networks，RvNNs）

与循环神经网络（RNNs）专注于序列数据不同，递归神经网络更适用于树状或递归结构的数据，例如自然语言中的语法树、分子结构等。

贾斯汀玛尔斯·2023-11-28 19:23

生成式深度学习(第二版)-译文-第五章-自回归模型

文本数据了解RNN(recurrentneuralnetworks)的架构设计利用Keras从零开始构建并训练LSTM(longshort-termmemorynetwork)使用LSTM来生成新的文本了解RNNs

Garry1248·2023-11-28 15:56

【ing 】CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？

CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）DNN指的是包含多个隐层的神经网络，如图1所示，根据神经元的特点，可以分为MLP、CNNs、RNNs等，下文在区分三者的时候，都从神经元的角度来讲解

zhaoyuyu_nudt·2023-11-20 22:32

基于知识图谱和图卷积神经网络的应用和开发

社交网络科学网络通讯网络多用户系统传统的深度学习平台无法完整这类学习（CNNs和RNNs)，这类数据无法通过一维，二维和三维的欧几里得结构表达

hellolianhua·2023-11-14 02:00

transfomer模型——简介，代码实现，重要模块解读，源码，官方

传统的循环神经网络（RNNs）和长短时记忆网络（LSTM）在处理长距离依赖关系时存在一些问题，而Transformer

一路向前，积极向上·2023-11-12 22:43

【论文解读 MM 2017 | att-RNN】Multimodal Fusion with RNNs for Rumor Detection on Microblogs

论文题目：MultimodalFusionwithRecurrentNeuralNetworksforRumorDetectiononMicroblogs论文来源：MM2017论文链接：https://doi.org/10.1145/3123266.3123454关键词：多模态融合，谣言检测，LSTM，注意力机制，microblog文章目录1摘要2引言3模型3.1模型概览3.2文本和社交上下文的联

byn12345·2023-11-04 04:44

论文研读｜An Embarrassingly Simple Approach for Intellectual Property Rights Protection on RNNs

目录论文信息文章简介研究动机研究方法白盒水印水印信号构造黑盒水印触发集构造水印嵌入实验结果保真度&有效性鲁棒性抗移除攻击（RemovalAttack）抗模型剪枝（ModelPruning）抗微调攻击（Fine-Tuning）抗水印覆写攻击（Overwriting）抗伪造攻击（Anti-AmbiguityAttacl）隐蔽性迁移性CaseStudy方法评估相关文献论文信息论文名称：AnEmbarra

_Meilinger_·2023-11-04 02:22

理解RNNs —— 长短记忆网络（LSTMS）

递归神经网络人类并不是每时每刻都从头开始思考。正如你阅读这篇文章的时候，你是在理解前面词语的基础上来理解每个词。你不会丢弃所有已知的信息而从头开始思考。你的思想具有持续性。传统的神经网络不能做到这点，而且这似乎也是它的主要缺陷。比如，你想对电影中每个点发生的事件类型进行分类。目前还不清楚传统神经网络如何利用之前事件的推理来得出后来事件。递归神经网络能够解决这一问题。这些网络中具有循环结构，能够使信

yuanCruise·2023-11-03 17:10

循环神经网络RNN基本介绍

这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns

谁偷了我的酒窝·2023-11-01 09:26

论文笔记《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》

RNNs/CNNs等在捕获长程的时间序列时，效果不太好。

mintminty·2023-10-19 00:33

基于 LSTM 进行多类文本分类(附源码）

RNNs是文本和语音分析的理想选择。最常用的RNNs是LSTM。来源：https://colah.github.io/posts/2015-08-Understanding-LSTMs/以上

Python算法实战·2023-10-13 03:52

RNN模型与NLP应用笔记(3)：Simple RNN模型详解及完整代码实现

现在开始讲述循环神经网络RecurrentNeuralNetworks(RNNs)，以及用Keras编程实现SimpleRNN,现在RNN没有以前流行，尤其是在自然语言处理的问题上，RNN已经有些过时了

番茄炒狼桃·2023-09-14 08:00

2020-02-25

RNN循环神经网络（下面简称RNNs）可以通过不停的将信息循环操作，保证信息持续存在，利用前面的事件信息来对后面事件进行分类+----+|ht|+-+--+^+-----|----+||||+-+-+|

闲后美梦·2023-09-09 13:04

LLM架构自注意力机制Transformers architecture Attention is all you need

使用Transformers架构构建大型语言模型显著提高了自然语言任务的性能，超过了之前的RNNs，并导致了再生能力的爆炸。

AI架构师易筋·2023-08-21 09:28

cs231n assignment 3 Q2 Image Captioning with Vanilla RNNs

文章目录嫌啰嗦直接看代码Q2ImageCaptioningwithVanillaRNNs一个给的工具代码里的bug问题展示问题解决思路解决办法rnn_step_forward题面解析代码输出rnn_step_backward题面解析代码输出rnn_forward题面解析代码输出rnn_backward题面解析代码输出word_embedding_forwardwordembedding技术解释题面

理智点·2023-08-18 22:12

transformer（”变形金刚“）

BackgroundTransformer发明的背景是在循环神经网络业已成熟阶段，但是成熟的循环神经网络例如LSTM和RNNS等对于长文本的分析效果并不是很理想。

Pingyuanyi·2023-08-12 15:10

Raki的读paper小记：RWKV: Reinventing RNNs for the Transformer Era

Abstract&Introduction&RelatedWork研究任务基础模型架构已有方法和相关工作RNN，CNN，Transformer稀疏注意力（Beltagy等人，2020年；Kitaev等人，2020年；Guo等人，2022年）、近似全注意力矩阵（Wang等人，2020年；Ma等人，2021年；Choromanski等人，2020年）、将分块注意力与门控结合（Ma等人，2023年）Fl

爱睡觉的Raki·2023-07-31 05:19

大模型基础之注意力机制和Transformer

【注意力机制的优势】RNNs顺序计算阻碍了并行化论文：A

只要开始永远不晚·2023-07-20 21:06

CS231n assignment3 Q1 Image Captioning with Vanilla RNNs

来到最后一个作业，前两个作业仍然是使用numpy来实现一个rnn/lstm网络，后边三个作业则用到了tensorflow/pytorch，目前只用了tensorflow来完成，以后或许会把pytorch的也完成了。前言第一个任务是使用rnn来完成图像标注的任务。imagecaption是rnn类网络的经典应用，属于encoder-decoder网络，encoder使用cnn网络，如VGG16，采用

weixin_30545285·2023-07-17 00:51

[CS231n Assignment 3 #01] 简单RNN的图像字幕(Image Captioning with Vanilla RNNs)

文章目录作业介绍0.准备1.MicrosoftCOCO1.1可视化数据2.递归神经网络(RNN)2.1朴素RNN：单时间步的前向传播2.2单时间步的反向传播2.3整个时间序列的前向传播2.4整个时间序列上的反向传播3.词嵌入（Wordembedding）3.1词嵌入前向传播3.2词嵌入的反向传播4.时序输出转换4.1前向传播4.2反向传播5.时序输出Softmax损失6.使用RNN完成ImageC

灵隐寺扫地僧·2023-07-17 00:20

[CS231n Assignment 3 #00] 第三次作业介绍

作业目的：理解递归神经网络(RNNs)的结构，以及它们如何通过随时间共享权值对序列进行操作；理

灵隐寺扫地僧·2023-07-17 00:19

99%的算法工程师都不知道！Tensorflow中Cudnn加速LSTM的正确打开方式

RNNs是神经网络中处理时序数据常用的单元，其中LSTM用得较多。即使目前Transformers几乎统一了天下，但在序列数据上仍然有一定的用武之地。

tylunas·2023-07-16 06:13

Transformer笔记

Transformer在主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）中：CNNs易于并行化，却不适合捕捉变长序列内的依赖关系。

wjsjjss·2023-07-15 21:09

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

摘要*RNNs中不同类型的循环单元。特别关注，实现门机制的复杂的单元。比如：LSTM、GRU。传统的循环单元：tanh

big_matster·2023-07-14 07:32

CTC-based AM for ASR总结

A.RNNs前馈DNNS只考虑固定长度滑动窗

ChongmingLiu·2023-06-15 08:59

深度学习知识点总结（持续更新中）

文章目录知识点总结1.神经网络2.卷积神经网络(CNNs)3.循环神经网络(RNNs)4.深度强化学习(DRL)5.生成对抗网络(GANs)6.自编码器(Autoencoders)7.深度学习框架8.超参数调优

旧言.·2023-06-08 01:01

长短期记忆网络LSTM（long short-term memory）

长期依赖的问题人们希望RNNs能够连接之前的信息到当前的任务中，例如，使用之前的图像帧

Andy.88666·2023-06-07 14:05

深度学习——RNN(2)

RNNBidirectionalRNN(双向RNN)假设当前t的输出不仅仅和之前的序列有关，并且还与之后的序列有关，例如：预测一个语句中缺失的词语那么需要根据上下文进行预测；BidirectionalRNN是一个相对简单的RNNs

飘涯·2023-04-16 16:27

Towards Better Modeling Hierarchical Structure for Self-Attention with Ordered Neurons

我们可以将传统RNNs替换为OrderedNeuronsLSTM（ON-LSTM）。

懿想天开_·2023-04-16 10:40

Neural Turing Machines

1、【递归神经网络】递归神经网络（Recurrentneuralnetworks，RNNs）能够在较长的时间内学习和执行复杂的数据转换，且具有模拟任意程序的能力。

辰_123·2023-03-13 02:01

Recurrent Neural Network系列1--RNN（循环神经网络）概述

RecurrentNeuralNetworks（RNNS），循环神经网络，是一个流行的模型，已经在许多NLP任务上显示出巨大的潜力。尽管它最近很流行

张博208·2023-02-17 12:58

梯度消失/爆炸与RNN家族的介绍(LSTM GRU B-RNN Multi-RNNs)-基于cs224n的最全总结

vanishinggradientsandfancyRNNs（RNN家族与梯度消失）文章目录vanishinggradientsandfancyRNNs（RNN家族与梯度消失）内容大纲：VanishinggradientExplodinggradient如何修复vanishinggradient的问题LSTM（Longshort-TermMemory）LSTM是如何解决vanishinggradi

不爱写程序的程序猿·2023-02-02 08:41

Abstractive Text Summarization using Seq-to-Seq RNNs and Beyond

今天继续分享一篇sentencelevelabstractivesummarization相关的paper，出自于IBMWatson，AbstractiveTextSummarizationusingSequence-to-sequenceRNNsandBeyond本文是一篇非常优秀的paper，在seq2seq+attention的基础上融合了很多的features、trick进来，提出了多组对

weixin_34405332·2023-02-02 08:10

【读】seq2seq—（3）Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond

本文转载自：自动文摘（六）目录AbstractIntroductionRelatedworkModelsEncoder-DecoderwithAttentionLargeVocabularyTrickVocabularyexpansionFeature-richEncoderSwitchingGenerator/PointerHierarchicalEncoderwithHieratchicalA

imsuhxz·2023-02-02 08:35

NLP应用（三）--RNNs

Howtomodelsequentialdata?前面都是one-to-one模型，即一个输入对应一个输出，对于时序数据最好的是many-to-many或many-to-many模型RNN就是这样的模型，不需要固定输入和输出的长度。1、SimpleRNNModelSimplernn的缺陷：不擅长long-termdependence举例：

Trisyp·2023-02-02 08:31

Transformer介绍

Transformer在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾：CNNs易于并行化，却不适合捕捉变长序列内的依赖关系。

幸福诗歌·2023-01-30 18:31

【Pytorch】21. 循环神经网络RNN和LSTM

RememberGate记忆门UseGate应用门其他架构GatedRecurrentUnit（GRU）PeepholeConnections本节我们学习recurrentneuralnetworks(RNNs

阿肉~·2023-01-26 13:12

PyTorch入门到进阶实战笔记三（NLP）

PyTorch入门到进阶实战笔记循环神经网络与NLP基础串讲RNN基础概念常见的RNN结构简单RNNs原理介绍双向RNNs原理介绍LSTM原理介绍双向LSTM网络原理介绍LSTM网络结构变种Attention

酸菜鱼_2323·2023-01-20 14:15

78.循环神经网络（RNN）

chnyi6_ya·2023-01-17 14:37

阅读笔记--《Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond》

本文主要是对论文中的算法技巧和创新点进行总结介绍，借鉴了一些博主的文章也有一些自己的理解。一、论文的基准模型参考https://blog.csdn.net/dcrmg/article/details/80327069Sequence-to-SequenceSeq2Seq是一类End-to-End算法框架，是从序列到序列转换模型框架，一般是通过Encoder-Decoder（编码/解码）模型实现的，

..Reputation·2023-01-04 20:07

【参文】时间，网络

EmpiricalEvaluationofGatedRecurrentNeuralNetworksonSequenceModelingabstractInthispaperwecomparedifferenttypesofrecurrentunitsinrecurrentneuralnetworks(RNNs

panbaoran913·2023-01-03 13:54

论文1：EMNLP2019-Aspect-based Sentiment Classification with Aspect-specific Graph

EMNLP2019-Aspect-basedSentimentClassificationwithAspect-specificGraph一.研究过程1.神经网络（2014-2015）2.RNNs+attention

FutureDreamer·2023-01-02 08:35

推荐频道