初识RNN1

RNN网络架构解读

神经网络中的另一个重要分支-RNN

递归神经网络,在传统神经网络上进行改进

网络能否学到时间相关性的影响?

  • 输出层
  • 隐藏层
  • 输入层

初识RNN1_第1张图片

  • 将原来的特征再次利用
  • 特征在时序上呈现相关性
  • x2,和x1同时传入到隐藏层,进行运算

应用领域

  • CNN-CV计算机视觉
  • RNN-NPL自然语言处理

计算过程

  • 构建时间序列
    • 必要时自己创建时间序列
  • 得到中间输出结果h0,1,2,3
  • 应该用ht,把所有特征全部综合得到的结果。

单词如何做编码

做一种编码的方式,word rec
把数据转换成为三维向量,并且按照时间顺序进行排列

LSTM

RNN网络是当前比较典型的代表

  • 序列从0到1万。RNN结果最后一个结果会把前面的结果全都记忆下来
  • 记忆太多,就容易出现误差

LSTM

  • C控制参数:持续进行维护和更新
  • 决定什么样的信息会进行遗忘
  • 经过计算决定丢弃什么信息
  • It要保留下来的新信息a
  • Ct新数据形成的控制参数

初识RNN1_第2张图片

你可能感兴趣的:(神经网络,深度学习,cnn,人工智能)