Recurrent

循环神经网络(RNN, Recurrent Neural Networks)学习笔记：基础理论

RNN(RecurrentNeuronNetwork)是一种对序列数据建模的神经网络。继Bengio提出基于神经网络的概率语言模型并获得成功之后，Mikolov于2010年提出利用RNN建模语言模型，2012年Sundermeyer提出RNN的改进版本--LSTM。近两年，RNN开始在自然语言处理、图像识别、语音识别等领域迅速得到大量应用。因项目需要，近期重点学习研究了这几类学习模型，DNN、RN
xingzhedai·2016-11-12 23:35

RNN资源博客 Recurrent Neural Network的经典论文、代码、课件、博士论文和应用汇总

AwesomeRecurrentNeuralNetworksAcuratedlistofresourcesdedicatedtorecurrentneuralnetworks(closelyrelatedtodeeplearning).Maintainers-JiwonKim,MyungsubChoiWehavepagesforothertopics:awesome-deep-vision,awe
mydear_11000·2016-11-07 09:55

[rnn]BPTT_梯度消失/爆炸问题

http://www.wildml.com/2015/10/recurrent-neural-networks-tutorial-part-3-backpropagation-through-time-and-vanishing-gradients
三枚目·2016-10-18 14:16

RNN初学入门笔记(1)

本篇博客翻译自http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/系列的第一篇
六月麦茬·2016-09-26 22:30

[论文]CTC——Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural

写在前面——最近在看Seq2Seq的问题，发现目前比较好的LSTM+CTC的组合，所以找了下06年ICML的原始论文。细节部分还没看完，后续会再重读一遍，补上一些自己的理解。对应的工具使用可以看下Mxnet中rnn下面的warpctc的例子(验证码OCR识别)，是mxnet里嵌入了百度的warpctc工具做的，但在安装captcha的时候费了不少时间。主要是buildPIL时的依赖比较多，在bui
EdwardLee·2016-08-31 12:51

[论文]Google——Show and Tell: A Neural Image Caption Generator

论文地址CVPR2015一、摘要1、图像的内容自动描述是一个AI基础问题2、该文采用基于深度循环（recurrent）结构的生成模型，该模型融合了近期在计算机视觉和机器翻译的前沿研究，支持生成描述图片的自然语句
EdwardLee·2016-08-17 19:36

READING NOTE: Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neura

TITLE:Inside-OutsideNet:DetectingObjectsinContextwithSkipPoolingandRecurrentNeuralNetworksAUTHER:SeanBell,C.LawrenceZitnick,KavitaBala,RossGirshickYanASSOCIATION:CornellUniversity,MicrosoftResearchFRO
joshua_1988·2016-06-01 19:00

有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？

知乎用户，阿里巴巴数据应用部门长期招聘「算法，分…500人赞同刚好毕设相关，论文写完顺手就答了先给出一个最快的了解+上手的教程：直接看theano官网的LSTM教程+代码：LSTMNetworksforSentimentAnalysis但是，前提是你有RNN的基础，因为LSTM本身不是一个完整的模型，LSTM是对RNN隐含层的改进。一般所称的LSTM网络全叫全了应该是使用LSTM单元的RNN网络。
GarfieldEr007·2016-05-26 12:14

【论文笔记】Recursive Recurrent Nets with Attention Modeling for OCR in the Wild

写在前面：     我看的paper大多为ComputerVision、DeepLearning相关的paper，现在基本也处于入门阶段，一些理解可能不太正确。说到底，小女子才疏学浅，如果有错误及理解不透彻的地方，欢迎各位大神批评指正！E-mail：[email protected]。       《RecursiveRecurrentNetswithAttentionModel
tmylzq187·2016-05-26 09:00

(test)Labelling Unsegmented Sequence Data with Recurrent Neural Networks

概述背景在实际的序列学习场景中经常会遇到从没有切分的，带有噪音的数据中对序列的label进行预测，例如语音识别中需要将声学信号转换成words或者是sub-words.文章提出了一种新的rnn训练方法，可以将没有切分的序列生成相应的标签。传统方法的问题传统方法中常用的HMM,CRF等有一些可以较好的解决这种序列标注问题，但是它们也存在相应的问题：通常需要大量的领域相关知识，例如定义相关的label
xljiulong·2016-05-24 14:04

回归神经网络RNN（Recurrent Neural network）

RNN不同于前馈神经网络，被认为具有记忆能力。其输入被看作一个序列，形如xt(x1,x2,x3...)其数学模型如下：ht=h(W1ht−1+U2xt+b1)yt=f(Vht+b2)这里ht表示在t时的状态，yt表示在t时的输出，h和f是非线性函数，常用sigmoid函数f(x)=11+e−x，WUV和b是需要学习的变量。这里的关键是t时的状态是由t-1时的状态和t时的输入共同得到，也就是说理论上
mafeiyu80·2016-05-18 19:51

从NN到RNN再到LSTM(4): Gated Recurrent Units

本文将简要介绍GRU的相关知识。转载请注明出处：http://blog.csdn.net/u011414416/article/details/51433875本文参考的文章有：KyunghyunCho,BartvanMerrenboer,CaglarGulcehreDzmitryBahdanau,FethiBougares,HolgerSchwenk,andYoshuaBengio.2014.L
clear-·2016-05-17 10:34

论文阅读：A Critical Review of Recurrent Neural Networks for Sequence Learning

作者：ZacharyC.LiptonUCSD一、论文所解决的问题现有的关于RNN这一类网络的综述太少了，并且论文之间的符号并不统一，本文就是为了RNN而作的综述二、论文的内容（0）整体一览由前馈神经网络-》RNN的早期历史以及发展-》现代RNN的结构-》现代RNN的应用（1）前馈神经网络图1一个神经元图2一个神经网络传统的前馈神经网络虽然能够进行分类和回归，但是这些都是假设数据之间是iid（独立同
xizero00·2016-04-23 10:00

Recurrent Neural Network (RNN)

还没来得及细读，等有空补充笔记，先记录下来BackpropogatinganLSTM:ANumericalExampleUnderstandingLSTMNetworksABeginner’sGuidetoRecurrentNetworksandLSTMs
lv26230418·2016-04-19 14:00

[2016,CVPR] Learning to Read Chest X-Rays Recurrent Neural Cascade Model for Automated Image Annotat

今天读了一篇检测的文章，LearningtoReadChestX-RaysRecurrentNeuralCascadeModelforAutomatedImageAnnotation，发在CVPR2016，作者不是太了解，据说LiLu在医学图像领域比较犀利。Summary这是篇文章属于“老方法+新问题”，其实也不算新问题，只不过用在医学图像里很少，我对医学图像处理并不太了解，说错了请见谅。文章要解
lv26230418·2016-04-17 12:00

RNN语言模型中的在线表示学习Online Representation Learning in Recurrent Neural language models

ONLINEREPRESENTATIONLEARNINGINRECURRENTNEURALLANGUAGEMODELSInabasicneurallanguagemodel,weoptimiseafixedsetofparametersbasedonatrainingcorpus,andpredictionsonanunseentestsetareadirectfunctionofthesepar
garfielder007·2016-04-12 13:08

long term recurrent convolutional networks for visual recognition and description

这篇属于很早就探索cnn+rnn解决high-levelcomputervisiontask的文章Abstract基于深度卷积网络的模型已经在最近的图像解释任务中成为主流，在这里我们研究了是否recurrentmodel能够有效的处理涉及到sequences以及视觉的各种任务。我们开发了一个新的recurrentconvolutional结构来实现大规模的学习任务，而且这个结构是end-to-en
Kevein111·2016-04-06 16:57

实时Recurrent学习Real Time Recurrent Learning

RealTimeRecurrentLearningInderivingagradient-basedupdateruleforrecurrentnetworks,wenowmakenetworkconnectivityveryveryunconstrained.Wesimplysupposethatwehaveasetofinputunits, I ={xk(t),0
GarfieldEr007·2016-04-04 18:00

RNN循环神经网络Recurrent Networks

RecurrentNetworksIConsiderthefollowingtwonetworks:     (Fig.1)Thenetworkontheleftisasimplefeedforwardnetworkofthekindwehavealreadymet.Therighthandnetworkhasanadditionalconnectionfromthehiddenunit toit
GarfieldEr007·2016-04-04 17:00

[rnn] tools

karpathy.github.io/2015/05/21/rnn-effectiveness/RecurrentNeuralNetworksTutorialhttp://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part
apsvvfb·2016-03-30 15:00

循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN,RecurrentNeuralNetworks)介绍  循环神经网络(RecurrentNeuralNetworks，RNNs)已经在众多自然语言处理(NaturalLanguageProcessing,NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍：1.R
MachineLP·2016-03-15 15:29

循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN,RecurrentNeuralNetworks)介绍  循环神经网络(RecurrentNeuralNetworks，RNNs)已经在众多自然语言处理(NaturalLanguageProcessing,NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍： 1.
u014365862·2016-03-15 15:00

Conditional Random Fields as Recurrent Neural Networks

牛津，斯坦福，IDL的一篇论文介绍：1.传统的用于ObjectRecognition的CNN很难转换为用于segmentation的pixel-wisepredicting：1）感受野过大以及pooling操作使的featuremap很coarse2）缺少smooth机制导致poorobjectdelineation和smallspuriousregion2.MRF（马尔科夫随机场）和CRF（条件
meanme·2016-03-09 21:00

[caffe] Long-term Recurrent Convolutional Networks

imagePathPaper:http://jeffdonahue.com/lrcn/Code:the“lstm_video_deploy”branchofLisaAnneHendricks’sCaffeforkPythonLayertrain_test_lstm_RGB.prototxtname:"lstm_joints" layer{name:"data"type:"Python"top:"d
apsvvfb·2016-03-04 13:00

循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN,RecurrentNeuralNetworks)介绍  循环神经网络(RecurrentNeuralNetworks，RNNs)已经在众多自然语言处理(NaturalLanguageProcessing,NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍：1.R
数据娃掘·2016-02-24 05:51

Theano-Deep Learning Tutorials 笔记：Recurrent Neural Networks with Word Embeddings

教程地址：http://deeplearning.net/tutorial/rnnslu.html相关论文：GrégoireMesnil,XiaodongHe,LiDengandYoshuaBengio-InvestigationofRecurrentNeuralNetworkArchitecturesandLearningMethodsforSpokenLanguageUnderstanding
u012816943·2016-02-19 17:00

具体数学第一 二章总结

第一章 Recurrent Problem 　　这章讲了3个非常有意思的题目，分别是汉诺塔、平面切分以及约瑟夫环。作者试图通过这些问题的求解过程，来
·2015-11-12 19:57

Recurrent Neural Network(循环神经网络)

Reference:   Alex Graves的 [Supervised Sequence Labelling with RecurrentNeural Networks] Alex是RNN最著名变种，LSTM发明者Jürgen Schmidhuber的高徒，现加入University of Toronto，拜师Hinton。 统计语言模型与序列学习 1.1 基于
·2015-11-11 15:43

recurrent NN

RNN应用到音乐数据，资料以及代码 http://www-etud.iro.umontreal.ca/~boulanni/icml2012 Modeling Temporal Dependencies in High-Dimensional Sequences:Application to Polyphonic Music Generation and Transcription
·2015-11-11 08:06

A Statistical View of Deep Learning (IV): Recurrent Nets and Dynamical Systems

A Statistical View of Deep Learning (IV): Recurrent Nets and Dynamical Systems Recurrent neural
·2015-11-07 10:37

A Rigorous & Readable Review on RNNs

A Rigorous & Readable Review on RNNs This post introduces a new  Critical Review on Recurrent
·2015-11-07 10:23

A Deep Dive into Recurrent Neural Nets

A Deep Dive into Recurrent Neural Nets Last time, we talked about the traditional feed-forward neural
·2015-11-02 15:26

Deep Learning方向的paper整理

  一 RNN 1 Recurrent neural ne
·2015-10-31 15:43

New STL Algorithms That Will Make A More Productive Developer

fill in gaps in the C++03 Standard Library whereas others are convenience algorithms that simplify recurrent
·2015-10-31 10:30

Awesome Recurrent Neural Networks

Awesome Recurrent Neural Networks A curated list of resources dedicated to recurrent neural networks
·2015-10-31 09:56

Batch Normalized Recurrent Neural Networks

本文探讨了BN算法在RNN中的作用。在FNN中BN的使用使得网络收敛更快，但本文实验发现，若把BN放在隐含层之间，并不能提高收敛速度，而将其放在输入层和隐含层之间时可以加速收敛，但泛化能力并未得到提高。我们先来看看文中提及的一些知识点。RNN在语音识别、机器翻译、语言建模等方面得到广泛应用，而针对RNN中的梯度消失问题又提出了其升级版LSTM。现在常见的RNN结构是stacked型，但训练深层网络
dp_BUPT·2015-10-10 10:00

循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN,RecurrentNeuralNetworks)介绍  这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part
一只鸟的天空·2015-09-23 13:09

[置顶] 循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN,RecurrentNeuralNetworks)介绍  循环神经网络(RecurrentNeuralNetworks，RNNs)已经在众多自然语言处理(NaturalLanguageProcessing,NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍：1.R
heyongluoyao8·2015-09-23 13:00

CNN+RNN

CNN,RNN(recurrent,下同)结合到一起可以建立一个更好的model1.CRNN（先CNN，后RNN）References:AnEnd-to-EndTrainableNeuralNetworkforImage-basedSequenceRecognitionandItsApplicationtoSceneTextRecognition
haqsyf·2015-08-25 10:26

POJ 3708 Recurrent Function 题解《挑战程序设计竞赛》

POJ3708RecurrentFunction递归函数：定义函数其中 {ai}={1,2,…, d-1}and{bi}={0,1,…, d-1}定义递归形式现给出方程求最小非负解x。4.1更加复杂的数学问题 模运算的世界 没有数论的背景知识真的做不来这题。查了书，查了wiki，从倒闭的百度空间的Googlecache里抢救了一篇题解回来（真讽刺），加入了自己的注释，这才弄明白是怎么回事。。首先，
hankcs·2015-05-11 17:00

Recurrent Neural Network Based Language Model(RNNLM)原理及BPTT数学推导

参考文献：1.StatisticalLanguageModelsBasedonNeuralNetworks2.Aguidetorecurrentneuralnetworksandbackpropagation前一篇文章介绍了nnlm，用神经网络来对语言进行建模，nnlm一个很大的优点就是将历史映射到一个低维的空间而并不像普通n-gram,这就降低了模型的参数，并且使相似的历史进行聚类，映射后的低维
a635661820·2015-03-19 18:02

RNN-RBM for music composition 网络架构及程序解读

RNN(recurrent neuralnetwork)是神经网络的一种，主要用于时序数据的分析，预测，分类等。
abcjennifer·2014-10-04 20:00

Recurrent Neural Network Language Modeling Toolkit代码学习

RecurrentNeuralNetworkLanguageModelingToolkit 工具使用点击打开链接本博客地址：http://blog.csdn.net/wangxinginnlp/article/details/38385471按照训练的进度学习代码：RNN训练过程（摘自Mikolov的博士论文）：1.Settimecountert=0,initializestateoftheneu
hellonlp·2014-08-05 15:00

Recurrent Neural Network Language Modeling Toolkit by Tomas Mikolov使用示例

RecurrentNeuralNetworkLanguageModelingToolkit代码学习递归神经网络语言模型工具地址：http://www.fit.vutbr.cz/~imikolov/rnnlm/1.工具的简单使用工具为：rnnlm-0.3e step1.文件解压，解压后的文件为：图1.rnnlm-0.3e解压后的文件step2.编译工具命令：makecleanmake可能报错 说这个
hellonlp·2014-08-02 10:00

在symfony2项目中100%提升doctrine的性能

Doctrine2hasafullchapterdevotedtocachingbutupuntilnowwehadnevertakenalooktoitatulabox.ThethingisthatthechapterdoesnotonlyspeakaboutcachingSQLresultsforsometime-theresultcache-,atypeofcachewe'recurrent
吴家耀·2014-04-06 14:00

具体数学笔记(1)-Recurrent Problems

这部分主要讲了三个递归问题：汉诺塔、平面分割、约瑟夫环，这三个问题都比较常见，其新颖之处在于对问题的分析假设和严谨的证明，特别是第三个问题作出了较深入的分析。一、TheTowerOf Hanoi假设有A、B、C三根柱子，将n个盘子(由大到小排序)从A移到B且中间不能出现大盘在小盘上面的这种情况。这个问题很容易想出递归的解法。若我们设为将n个盘子从一根柱子移到另一根柱子所需要的最少步数，我们的结论是
iChying·2012-10-09 17:00
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他