tensorflow2.0北大课程笔记(三)

循环核
tensorflow2.0北大课程笔记(三)_第1张图片
循环核按时间步展开
tensorflow2.0北大课程笔记(三)_第2张图片
循环计算层:向输出反向生长
tensorflow2.0北大课程笔记(三)_第3张图片
TF描述循环计算层
tensorflow2.0北大课程笔记(三)_第4张图片
tensorflow2.0北大课程笔记(三)_第5张图片
TF描述循环计算层
tensorflow2.0北大课程笔记(三)_第6张图片
循环计算过程I
tensorflow2.0北大课程笔记(三)_第7张图片
随机生成了Why,Whh,Wxh,记忆体个数为3个
tensorflow2.0北大课程笔记(三)_第8张图片
第一次运算过后
tensorflow2.0北大课程笔记(三)_第9张图片
输出层
tensorflow2.0北大课程笔记(三)_第10张图片
RNN预测字母
实现代码

循环计算过程,连续输入四个字母,预测下一个字母

记忆体第一次更新(输入b)
tensorflow2.0北大课程笔记(三)_第11张图片
第二次更新(输入c)
tensorflow2.0北大课程笔记(三)_第12张图片
第三次更新(输入d)
tensorflow2.0北大课程笔记(三)_第13张图片
第四次更新(输入e)
tensorflow2.0北大课程笔记(三)_第14张图片
最后输出
tensorflow2.0北大课程笔记(三)_第15张图片
jupyter代码实现

embeding
tensorflow2.0北大课程笔记(三)_第16张图片
课程讲解
LSTM
表征长期记忆的细胞态Ct,等待存入长期记忆的候选态Ct波浪号
tensorflow2.0北大课程笔记(三)_第17张图片

LSTM就是你听我讲课的过程,你现在脑袋里记住的内容是今天ppt第1页到第45页的长期记忆Ct在这里插入图片描述
,这个长期记忆Ct由两部分组成,一部分是ppt第1页到第44页的内容,也就是上一时刻长期记忆Ct-1,你不可能一字不差的记住全部内容,你会不自觉地忘掉一些,所以上个时刻的长期记忆Ct-1要乘以遗忘门在这里插入图片描述,这个乘积项表示留存在你脑中的对过去的记忆,我现在讲的内容是新知识,是即将存入你脑中的现在的记忆,现在的记忆由两部分组成,一部分是我现在讲的第45页ppt。在这里插入图片描述。你的脑袋把当前时刻的输入xt和上一时刻的短期记忆ht-1归纳形成即将存入你脑中的现在的记忆Ct波浪号在这里插入图片描述.
现在的记忆Ct波浪号乘以输入门与过去的记忆一同存储为长期记忆
在这里插入图片描述。当你把这一讲复述给你朋友时,你不可能一字不漏的讲出来,你讲的是留存在你脑中的长期记忆,经过输出门筛选后的内容,这就是记忆体的输出ht。当有多层循环网络时,这一层的输出是下一层的输入,输出的是这一层的提取的精华。你可以认为我现在扮演的就是第一层循环网络,每一页ppt我都是从一篇篇论文中提取出的精华,输出给你,作为第二层循环网路的你,接收到的数据是我的长期记忆经过tanh激活函数乘以输出门提取的短期记忆ht

TF实现LSTM
tensorflow2.0北大课程笔记(三)_第18张图片
GRU网络
tensorflow2.0北大课程笔记(三)_第19张图片
TF实现
tensorflow2.0北大课程笔记(三)_第20张图片

你可能感兴趣的:(机器学习,神经网络,人工智能,tensorflow)