水很深的深度学习笔记—————循环神经网络RNN篇

目录

计算图

RNN


计算图的引入为了更方便表示网络

现实生活存在很多序列化结构,需要建立更优秀的序列数据模型

文本、语音、视频、时态数据

RNN

RNN一般结构

水很深的深度学习笔记—————循环神经网络RNN篇_第1张图片

x_t表示T时刻的输入,s_T表示记忆,O_t表示输出,U V W 是RNN网络的连接权重,b_s和b_o是RNN的偏置,

 LSTM(长短时记忆网络)

一个LSTM单元由输入门、输出门、遗忘门组成,三个门控制信息进出单元

水很深的深度学习笔记—————循环神经网络RNN篇_第2张图片

 遗忘门  对细胞状态信息遗忘程度的控制,输出当前状态的遗忘权重,水很深的深度学习笔记—————循环神经网络RNN篇_第3张图片

 输入门--实现细胞状态输入接受程度的控制,输出当前信息接受权重

水很深的深度学习笔记—————循环神经网络RNN篇_第4张图片

 输出门--实现对细胞i状态输出认可程度的控制,输出当前输出信息的认可权重

水很深的深度学习笔记—————循环神经网络RNN篇_第5张图片

 还有许多东西需要时间消化,后续继续补

参考链接

https://github.com/datawhalechina/unusual-deep-learning/blob/main/docs/5.CNN.md

你可能感兴趣的:(深度学习,概率论,机器学习)