NNDL读书笔记第六章RNN

循环神经网络

RNN 具有短期记忆能力,参数的学习可以通过随时间反向传播算法来学习。随时间反向传播算法按照时间的逆序讲错误一步步地往前传递,当输入序列比较长,会有梯度的爆炸和消失的问题,即长程依赖问题,引入门控机制。

网络增加记忆能力

延时神经网络

延时神经网络是在前馈网络中的非输出层都添加一个延时器,记录神经元的最近几次活性值.在第t个时刻:
在这里插入图片描述

有外部输入的非线性自回归模型

自回归模型,用一个变量 y t y_t y

你可能感兴趣的:(读书笔记,神经网络)