Recurrent 第9页

TensorFlow2.0 Guide官方教程学习笔记6- Recurrent Neural Networks (RNN) with Keras

本笔记参照TensorFlow官方教程，主要是对‘RecurrentNeuralNetworks(RNN)withKeras’教程内容翻译和内容结构编排，原文链接：RecurrentNeuralNetworks(RNN)withKeras目录创建环境（Setup）一、创建一个简单的模型二、输出和状态三、RNN层和RNN单元（cells）四、Cross-batch状态性（Cross-batchsta

黄水生·2020-07-07 11:14

twice论文-深度估计-Don’t Forget The Past: Recurrent Depth Estimation from Monocular Video

这篇论文大体看下来，感觉加了个LSTM，这样可以使视频在每一帧有时空上的连续性。0摘要：就是说像自动驾驶之类的需要连续的更新深度信息，但是目前得到的深度都是独立帧的，视频的帧与帧之间是相互独立的，我们的方法主要的是产生一个让视频帧之间有联系的，即基于时间的一系列的深度图。并且，我们把三种估计深的方法形成一个常规的框架，然后我们把这些框架和卷积LSTM结合起来这样就可以产生具有时空结构的深度进而产生

molly_d·2020-07-07 07:50

(zhuan) Attention in Long Short-Term Memory Recurrent Neural Networks

AttentioninLongShort-TermMemoryRecurrentNeuralNetworksbyJasonBrownleeonJune30,2017inDeepLearningTheEncoder-Decoderarchitectureispopularbecauseithasdemonstratedstate-of-the-artresultsacrossarangeofdoma

a1424262219·2020-07-07 02:48

deeplearning.ai课程作业：Recurrent Neural Networks- Course 5 Week1

deeplearning.ai课程作业：RecurrentNeuralNetworks-Course5Week1需要的依赖文件可以点击这里下载，三个部分所需的依赖包都在里面，保存路径的方法可以查看本人头几篇deeplearning.ai的博文，里面有详细说明。Part1BuildingyourRecurrentNeuralNetwork-StepbyStepWelcometoCourse5’sfi

Will_Ye·2020-07-07 01:03

Labelling Unsegmented Sequence Data with Recurrent Neural Networks（笔记）

概述背景在实际的序列学习场景中经常会遇到从没有切分的，带有噪音的数据中对序列的label进行预测，例如语音识别中需要将声学信号转换成words或者是sub-words.文章提出了一种新的rnn训练方法，可以将没有切分的序列生成相应的标签。传统方法的问题传统方法中常用的HMM,CRF等有一些可以较好的解决这种序列标注问题，但是它们也存在相应的问题：1.通常需要大量的领域相关知识，例如定义相关的lab

xljiulong·2020-07-06 09:04

Latent Cross: Making Use of Context in Recurrent Recommender Systems 论文阅读

chutongz·2020-07-06 03:49

论文笔记-Online Multi-Target Tracking Using Recurrent Neural Networks

题目：OnlineMulti-TargetTrackingUsingRecurrentNeuralNetworks来源：AAAI2017代码（Lua+Torch7）：https://bitbucket.org/amilan/rnntracking不同于以往在目标跟踪领域中使用的卷积神经网络CNN，这篇文章用到的是深度学习中的RNN，用RNN做在线多目标的跟踪。就如作者所说，thisisthefir

sunshine芝火·2020-07-06 02:38

论文阅读笔记Saliency Detection with Recurrent Fully Convolutional Networks

摘要深度网络已经被证明可以编码高级语义特征，并在显着性检测中提供卓越的性能。在本文中，我们通过使用循环完全卷积网络（RFCN）开发新的显着性模型更进一步。此外，循环体系结构使我们的方法能够通过纠正其先前的错误自动学习优化显着性映射。为了训练具有多个参数的这样的网络，我们提出了使用语义分割数据的预训练策略，其同时利用对分割任务的强有力的监督以进行更好的训练，并使网络能够捕获对象的通用表示以用于显著性

Lily-sunshine·2020-07-05 05:04

Scale-recurrent Network for Deep Image Deblurring 阅读理解

Scale-recurrentNetworkforDeepImageDeblurring2018CVPR腾讯优图出品codehttps://github.com/jiangsutx/SRN-Deblur代码亲测效果确实不错，但是对于我自己拍的照片出现badcase，跟作者确认过，确实存在。可能是因为作者的模型主要针对运动模糊，一般失焦模糊容易受到矫枉过正的问题。总之模型还需要继续优化给定一个运动或

为什么先生2012·2020-07-04 09:32

XLNet作者杨植麟：超越BERT，用AI 赋能企业销售

本期Robin.lyAI访谈特邀Recurrent.ai的联合创始人、CMU博士杨植麟博士，介绍了他们团队共同发明的XLNet算法，以及他和他的团队

Robin.ly·2020-07-04 07:57

点云深度学习系列五： RSNet：Recurrent Slice Networks for 3D Segmentation on Point Clouds

1.整体框架初始n*d的点云，首先经过输入特征提取块(3卷积层，每层64个1*1滤波器)，输出n*din大小的特征Fin；通过x、y、z三个方向的切片池化层将无序点云转换为有序序列；采用双向RNN处理序列，更新特征；采用切片上池化层映射回每个点；最后经过输出特征提取块(3个1*1卷积层，输出维度为512，256，K)，处理Fsu(切片上池化层的输出)，输出每个点的预测2.局部依赖模块SlicePo

fool_wenCC·2020-07-02 13:21

读论文：Scale-recurrent Network for Deep Image Deblurring

图像去模糊是图像领域一个经久不衰的挑战。近年来，有很多论文聚焦于深度学习算法去模糊工作。如标题所述的论文发表于2018年的CVPR，是这方面的一个典型工作。我们来看看作者做了些什么？1使用的数据gopro公开数据集。总共包含3214组模糊/清晰数据集。实际模型的输入数据为，从每个输入batch的tensor矩阵中随机剪裁成256*256的tensor输入网络，所以每轮epoch下来用到的训练数据是

木水_·2020-07-02 10:07

一步一步分析讲解深度神经网络基础-Recurrent Neural Networks

我们知道在现实生活中，我们的数据往往和时间相关。Time-SeriesData就是说时间序列数据。我们身体里的基因也是一种序列。thedataofagenomesequence-whereeverysequencehasadifferentmeaning.基因组序列的数据，其中每个序列具有不同的含义。而RNNs是处理Time-SeriesData最新的一系列的人工神经网络技术。今天，我们来入门最简

Alun_Sun·2020-07-02 05:51

读书笔记---Explain Images with Multimodal Recurrent Neural Networks

之前的方法将imagecaption任务看成检索任务，对句子和图像提取特征，并将他们映射到相同的语义嵌入空间，只能对数据集中已经存在的图像进行注释，不能描述先前看不到的对象和场景。这篇文章提出了一个多模式递归神经网络模型（m-RNN）用于解释图像的内容。这个模型根据已经给出的图片和之前生成的单词来预测下一个单词。m-RNN主要是由两个子网络组成的：用于句子的深度递归网络和用于图像的深度卷积网络。这

call_me_mr_wei·2020-07-01 19:26

Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling（翻译）

基于注意的递归神经网络模型用于联合意图检测和槽填充摘要提出基于注意力的神经网络模型用于构建意图识别和槽填充的联合模型1.简介意图识别：意图识别可以看做语义表达的分类问题，流行的方法如支持向量机和深度神经网络槽填充：槽填充看做是一个序列标记问题，流行的方法如最大熵马尔可夫模型，条件随机场（crf）和RNNs。文献[8,9]也提出了意图检测和槽填充的联合模型。[12]中介绍的注意机制能够在encode

你好世界_zhy·2020-07-01 17:10

（十）Unsupervised Anomaly Detection in Energy Time Series Data using Variational Recurrent Autoencoder

内含动画的PPT已经上传，可以在我上传的资源里看到，可免费下载论文信息：2018IEEEVAE+Attention+无监督+异常检测+时间序列本篇论文需要具备一定的VAE了解及相关的数学知识我在阅读该论文过程中参考的一些学习网址：(1)https://zhuanlan.zhihu.com/p/64485020(2)https://zhuanlan.zhihu.com/p/83865427(3)ht

是肉球哇·2020-07-01 14:05

Deep Recurrent Q-Learning for Partially Observable MDPs(DRQN)笔记

DeepRecurrentQ-LearningforPartiallyObservableMDPs1.论文讲了什么/主要贡献是什么传统DQN主要面型MDP的环境，在Atari环境中进行测试的过程中也是采取的输入多个帧的形式，使模型输入的观测能够体现出系统的状态。但现实中大部分都是部分可观测的情况——POMDP，本文在DQN的基础上，结合循环神经网络的特性，将LSTM与DQN结合，设计出DRQN，从

Melody1211·2020-07-01 11:41

SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation f...

https://arxiv.org/abs/1710.07368SqueezeSeg代码地址：SqueezeSeg:ConvolutionalNeuralNetswithRecurrentCRFforReal-TimeRoad-ObjectSegmentationfrom3DLiDARPointCloud摘要在本文中，我们从三维激光雷达点云的角度对道路目标进行了语义分割。我们特别希望检测和分类感兴

听风轻咛·2020-06-30 06:55

神经翻译笔记4扩展a第二部分. RNN在TF2.0中的实现方法略览

神经翻译笔记4扩展a第二部分.RNN在TF2.0中的实现方法略览文章目录神经翻译笔记4扩展a第二部分.RNN在TF2.0中的实现方法略览相关基类`tf.keras.layers.Layer``recurrent.DropoutRNNCellMixin

TimsonShi·2020-06-29 23:17

初识Recurrent Neural Network

本篇翻译自DennyBritz(GoogleBrainTeam成员)的RNN系列教程RNN也就是RecurrentNeuralNetwork，在语音识别，自然语言处理(NLP)等很多领域广泛应用，人气很高。这个系列教程包含以下：1、RNN简介(本文)2、使用Python和Theano实现RNN3、了解方向传播算法和梯度消失问题4、实施GRU/LSTMRNN本文假设你对基本的神经网络有所了解。什么是

多了去的YangXuLei·2020-06-29 17:25

循环智能（Recurrent AI）后端、算法补坑中

循环智能（RecurrentAI）后端、算法补坑中有AI和工程领域的世界级选手，在与优秀的团队合作中获得成长自由公平开放的文化，没有无效的会议，没有形式主义，专注做事，专注落地尊重员工与个人，注重工作与生活的平衡，拒绝无效的忙碌，在家在公司工作自由选择通情达理的业务，合理的管理节奏，踏实合作的团队氛围，远低于平均的离职率硅谷式的工程师文化，尊重工程师，尊重技术，尊重每一个创新的意见JUSTFORF

Candy 夏·2020-06-29 16:16

斯坦福大学2019自然语言处理CS224n，Lecture6：Language Models and Recurrent Neural Networks

内容大纲：语言模型：N-gram语言模型：n-gram指的是n个连续的词。通过统计不同n-gram的词频信息来预测下一个词是什么。假设前提：长文本的第X(t+1)这个词出现概率等于前面的n-1个词预测下一个词出现的概率，也就是说：怎么求上面的概率呢？在一个很大的语料文本中计算他们出现的次数做比例。举个例子：对于4-gram，我们忽略掉除了三个文本之前的词汇，然后分别计算连续三个词汇出现的次数，以及

不吃西瓜霜含片·2020-06-28 23:56

(7) [IEEEAcoustic13] SPEECH RECOGNITION WITH DEEP RECURRENT NEURAL NETWORKS

计划完成深度学习入门的126篇论文第七篇，多伦多大学的Geoffrey和AlexGraves发表关于End-to-EndDeepRNN在SpeechRecognition方向上的论文。ABSTRACT&INTRODUCTION摘要Recurrentneuralnetworks(RNNs)是一种强大的序列数据模型。端到端训练方法，如ConnectionistTemporalClassificatio

gdtop818·2020-06-28 20:36

(21)[ICML16] PixelRNN：Pixel Recurrent Neural Networks

计划完成深度学习入门的126篇论文第二十一篇，DeepMind研究一种新的生成模型。ABSTRACT&INTRODUCTION摘要自然图像的分布建模是无监督学习中的一个标志性问题。该任务需要一个同时具有表现力、可处理性和可伸缩性的图像模型。我们提出了一种深度神经网络，它能在两个空间维度上连续预测图像中的像素。我们的方法对原始像素值的离散概率建模，并对图像中的完整依赖关系进行编码。我们的结构创新包括

gdtop818·2020-06-28 20:36

Keras RNN 源码分析

在keras源码中,layers/recurrent.py中看到RNN实现方式RNN中的循环体使用RNNCell来进行定义的,在RNN(Layer)中的compute_output_shape函数可以查看到

weixin_34216036·2020-06-28 13:08

RKGE Recurrent Knowledge Graph Embedding for Effective Recommendation 论文

Paper-RKGE[RecurrentKnowledgeGraphEmbeddingforEffectiveRecommendation]Abstract关于KG应用于推荐，现行方法多依赖于KG的手工特征工程本文提出RKGE，一种KG嵌入方法，能够自动学习实体间路径的语义表示，以描述用户对物品的偏好；RKGE使用循环网络技术[recurrentnetwork]，通过一批循环网络对链接相同实体对的

枫色幻想·2020-06-27 08:15

Tensorflow: recurrent neural network char-level 1

importnumpyasnpimporttensorflowastfimportmatplotlib.pyplotaspltfromtensorflow.models.rnnimportrnn,rnn_cellfromtensorflow.models.rnnimportseq2seqimportcollections#@karpathydata=open('ThreeMusketeers.tx

phlovexz·2020-06-27 07:27

On the difficulty of training Recurrent Neural Networks

1摘要关于正确训练循环神经网络有两个常见的问题，梯度消失和梯度爆炸。在本文中，我们试图通过从分析，几何和动态系统的角度探索这些问题来提高对潜在问题的理解。我们的分析被用来证明一个简单而有效的解决方案。我们提出梯度范数裁剪策略来处理爆炸梯度和消失梯度问题的软约束。我们验证了我们的假设，并在实验部分提出了解决方案。2.前言RNN网络的结构与标准多层感知器的结构类似，区别在于我们允许隐藏单元之间的连接与

cuncaoxin1·2020-06-27 06:12

Joint Event Extraction via Recurrent Neural Networks

thienHuuNguyen摘要：事件提取是一个在信息提取方面特别具有挑战性的问题。这个问题的最先进的模型要么是应用卷积神经网络一个管道框架（Chen等人，2015年）或通过结构化的方式遵循联合架构具有丰富的本地和全局特性的预测(李etal.,2013)。前者能够从基于连续和广义的词语表示的数据中自动学习隐藏要素特征。后者,另一方面，也有能力减轻管道方法的错误传播问题和通过离散结构利用在事件触发器

windflyhuang·2020-06-26 22:13

Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks阅读笔记

1.摘要论文提出一种统一的网络结构模型，这种模型可以直接通过一次前向计算就可以同时实现对图像中文本定位和识别的任务。这种网络结构可以直接以end-to-end的方式训练，训练的时候只需要输入图像，图像中文本的bbox，以及文本对应的标签信息。这种end-to-end训练的模型，可以学习到更加丰富的特征信息。而且，这种模型所需要的时间更少，因为在文本检测和识别的时候，只需要计算一次图像的特征，这种特

BangGui02·2020-06-26 21:55

speech recognition with deep recurrent neural networks-论文笔记

论文题目：speechrecognitionwithdeeprecurrentneuralnetworks作者：AlexGraves,Abdel-rahmanMohamedandGeoffreyHinton论文中第2部分，介绍关于RNN的一些知识：对于一个给定的输入序列x=(x1,...,xT),一个标准的RNN通过迭代下面一系列方程来计算隐层序列h=(h1,...,hT)和输出层y=(y1,..

thy_2014·2020-06-26 19:26

python深度学习之销量预测

importtimeimportwarningsimportnumpyasnpimportmatplotlib.pyplotaspltfromnumpyimportnewaxisfrom__future__importprint_functionfromkeras.modelsimportSequentialfromkeras.layers.recurrent

!正经程序员·2020-06-26 17:47

rnn学习资料整理

tensorflow官网对rnn的介绍（https://www.tensorflow.org/tutorials/recurrent点击打开链接），结合tf的代码讲解rnn例子，并推荐了这篇文章（http

stranger_huang·2020-06-26 14:45

[论文笔记] CRNN(Convolutional Recurrent Neural Network)_2015 学习笔记

[论文笔记]CRNN(ConvolutionalRecurrentNeuralNetwork)_2015学习笔记本人文字识别初学者，通过学习笔记记录下自己的学习历程，希望坚持下去。基于对CNN和RNN的大体了解，先从经典文章开始学习。论文笔记根据个人理解而记录，不能完全保证理解的正确性，愿意与大家讨论学习。该文章全称《AnEnd-to-EndTrainableNeuralNetworkforIma

牧小兔·2020-06-26 05:16

lstm原理应用小结

keras:keras.layers.recurrent.LSTM(units,activation='tanh',recurrent_activation='hard_sigmoid',use_bias

林林宋·2020-06-25 17:14

推荐算法 | 《Latent Cross: Making Use of Context in Recurrent Recommender Systems》

1introduction文中，作者研究了如何有效地处理神经推荐系统中的上下文数据。首先对传统的将上下文作为特征的方法进行了分析，并证明这种方法在捕获特征交叉时效率低下。然后据此来设计RNN推荐系统。WefirstdescribeourRNN-basedrecommendersysteminuseatYouTube.Next,weoffer“LatentCross,”aneasy-to-usete

蠡1204·2020-06-25 17:15

【时空序列预测第三篇】PredRNN: Recurrent Neural Networks for Predictive Learning using Spatiotemporal LSTMs

前言接下来保持住节奏，每周起码一篇paperreading，要时刻了解研究的前沿，是一个不管是工程岗位还是研究岗位AIer必备的工作，共勉！一、Address这是nips2017年的一篇paper，来自于清华的团队PredRNN:RecurrentNeuralNetworksforPredictiveLearningusingSpatiotemporalLSTMshttp://ise.thss.t

AI蜗牛车·2020-06-25 07:53

课程笔记——Recurrent Neural Network

举例如下图蓝色框为记忆区，当黄色输入=1时，绿色=1+1=2，橙色输出=2+2=4，同时将绿色框结果存储到蓝色记忆区。此时蓝色记忆区=2，黄色输入=1时，绿色=1+1+2+2=6，橙色输出=6+6=12，同时将绿色框结果存储到蓝色记忆区。以此类推，输入输出序列如下，故我们可知当输入序列顺序改变时，输出值会产生变化。1.几个简单分类ElmanNetwork：将某时间点的hiddenlayer存起来，

mintminty·2020-06-24 15:31

【Graph Neural Network 图神经网络】1.Recurrent Graph Neural Network 循环图神经网络

图神经网络概述神经网络的成功推动了模式识别和数据挖掘的研究，产生了若干种端到端的深度学习方法：卷积神经网络CNN、循环神经网络RNN、自动编码器。其中卷积神经网络CNN能够利用图像数据的平移不变性、局部连通性和可组合型，提取与整个数据集共享的局部有意义的特征，以进行各种图像分析任务。但是在应用场景中依然有大量的数据以图Graph的形式表示，例如电子商务中的用户与产品的交互、化学中的分子结构、引文网

TsingMr·2020-06-24 14:26

深度学习之LSTM案例分析（二）

#背景来自GitHub上《tensorflow_cookbook》【https://github.com/nfmcclure/tensorflow_cookbook/tree/master/09_Recurrent_Neural_Networks

FACE君·2020-06-24 11:24

深度学习之LSTM案例分析（三）

#背景来自GitHub上《tensorflow_cookbook》【https://github.com/nfmcclure/tensorflow_cookbook/tree/master/09_Recurrent_Neural_Networks

FACE君·2020-06-24 11:53

recurrent neural network regularization

本文介绍了lstm的regularization:dropout.lstm:符号意思：对lstm进行rugularization，第一需要达到regularization的效果，第二不能丧失lstm的记忆能力。所以只在同一时刻layer之间进行dropout。从t-1到t之间没有dropout。对应tensorflowapi:input_keep_prob在传入当前cell之前的droupout,

longxiao666·2020-06-24 01:18

论文笔记：Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image

CVPR2017oral,微软亚洲研究院梅涛工作，做细粒度分类。就是网络的叠加，从coarsetofine，三个scale网络的叠加，前两个scale多了APN去get感兴趣区域，输入到后一个scale里面。APNattentionproposalnetwork:相较于RPN(objectdetection),用的是弱监督的方式得到候选框。实现方式：在conv5之后，重接了两个全连接，输出三个值t

涂山容容·2020-06-23 18:52

【神经网络】第一篇 BP神经网络 && 卷积神经网络(onvolutional Neural Network) && 循环神经网络(Recurrent Neural Network)

【引言】BP神经网络人工神经网络无需事先确定输入和输出之间映射的数学函数关系，仅通过自身的训练，学习某种规则，使得在给定某种输入时，能给出特定的输出值。BP（Back-Propagation）神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。基本BP算法包括信号的前向

gegeyanxin·2020-06-23 10:04

学习笔记TF053:循环神经网络，TensorFlow Model Zoo，强化学习，深度森林，深度学习艺术

https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/recurrent_network.py

利炳根·2020-06-23 08:42

【论文笔记】LightRNN: Memory and Computation-Efficient Recurrent Neural Networks

论文主题：LightRNN解决的问题是在perplexity差不多的情况下减少模型大小(modelsize)+加快训练速度(computationalcomplexity)。论文在多个基准数据集进行语言建模任务来评价LightRNN这是一篇关于语言模型的文章。提出了使用二分量共享词向量来减少模型大小参数数量来提高运行时间的论文。前提知识：perplexity:Perplexity其实表示的是ave

immoshi·2020-06-22 21:10

Recurrent Filter Learning for Visual Tracking(RFL)论文笔记

这是一篇ICCV2017的文章，文章条理清晰，通俗易懂，做以总结如下~本人小菜鸟一个，水平有限，如有错误恳请指正。第一次写博客，格式可能不够完美，望海涵~【亮点】加了LSTM，既保留了目标空间位置信息，也保留了时序信息。offline训练结束后，在线过程不再需要微调，降低了时间复杂度，速度快。Exemplarimage是一直在变化的，LSTM的状态也是实时更新的，相对于SiamFC（Fully-C

aaon22357·2020-06-22 11:35

论文笔记：Progressive Attention Guided Recurrent Network for Salient Object Detection

标题翻译：基于渐进式注意力指导循环网络的显著性目标检测。梗概：这是一篇结合了注意力机制、循环神经网络、CNN来解决显著性目标检测问题的文章，文中提出的对深度卷积网咯的感知特征做另一种方式的自顶而下（toptoshadow）的反馈操作是非常新颖的。关于此文的论文原文与小编的阅读注释，与讲解PPT见：链接：https://pan.baidu.com/s/1KGHrY7deAGdQ6dU-2d3YnA密

萧班·2020-06-22 08:39

【图像描述论文笔记】Mind’s Eye: A Recurrent Visual Representation for Image Caption Generation

Mind’sEye:ARecurrentVisualRepresentationforImageCaptionGeneration（cvpr2015）前言（与该论文无关）主要思想简介具体方法优化目标模型结构总结后记前言（与该论文无关）先说一下这篇文章我读完的个人感受啊。在我已经了解了很多时新的图像描述方法之后，这篇文章中所提出的一种“新”的RNN就有点相形见绌了。不过这只是我们站在上帝视角的看法。

我又不紧张a·2020-06-22 05:30

[2016,CVPR] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotation

第一次用，之前一直听过，这次用来做读书笔记，慢慢来吧。今天读了一篇检测的文章，LearningtoReadChestX-RaysRecurrentNeuralCascadeModelforAutomatedImageAnnotation，发在CVPR2016，作者不是太了解，据说LiLu在医学图像领域比较犀利。总结这是篇文章属于“老方法+新问题”，其实也不算新问题，只不过用在医学图像里很少，我对医

坏笨熊熊·2020-06-22 04:21

推荐频道

Recurrent

TensorFlow2.0 Guide官方教程 学习笔记6- Recurrent Neural Networks (RNN) with Keras