机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory

机器记忆 Machine Memory

我们已经讨论过Attention机制,基于注意力机制,我们继续讨论 Memory Network。

1. 外部存储

我们进行DNN或者RNN之前,数据可以用Readiing controller 从外部读取进来。
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第1张图片
Ref: http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/Attain (v3).ecm.mp4/index.html

2. 问答系统

问答系统对于文章内容的搜寻其实就是机器存储内容的搜寻。
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第2张图片

这种搜寻是完全基于Attention机制的。
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第3张图片
Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus, “End-To-End Memory
Networks”, NIPS, 2015

除了输入attention机制外,我们尝试增加输入正常机制+hopping(反复复习,重新传入q),最后得出结果。

机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第4张图片

3. 视频问答 Visual Question Answering

在视频问答系统中,我们从每一块图片区域中选择内容。工具还是Attention

机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第5张图片
论文Huijuan Xu, Kate Saenko. Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering. arXiv Pre-Print, 2015 中阐释了视频问答系统
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第6张图片

3. 可以读写的Memory

谷歌提出的Neural Turing Machine 挑战了经典的冯诺依曼架构,但是基础还是Attention

机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第7张图片
(1)首先我们采用attention机制从记忆中产生r0
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第8张图片
(2)然后将r0 和x1 输入RNN 产生 k,e,a
k与m进行运算(相似度运算),产生新的attention r, e决定是否需要删除(e在0到1之间),a决定是否需要新增。
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第9张图片

(3)运算过程
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第10张图片

(4)简单的整体示意图
机器学习与深度学习系列连载: 第二部分 深度学习(二十二) 机器记忆 Machine Memory_第11张图片

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229,斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里,感谢这些经典课程,向他们致敬!

你可能感兴趣的:(深度学习,神经网络,深度学习)