[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3)

[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3)

PDF	VIDEO

---

上接part 2

RNN

Beyond Sequence

那么这种sequence to sequence 的方法还可以用于Syntactic parsing 句法分析上，得到树桩结构。

这里写图片描述

而它表达的方式就是通过括号来标记的，虽然感觉很复杂，但事实证明这种方法是work 的。

Sequence-to-sequence Auto-encoder - Text

这里写图片描述

用以下两种方法，可把document变成一个vector。

这里写图片描述

这里写图片描述

Sequence-to-sequence Auto-encoder - Speech

还可以用在语音辨识上

把一段语音变成一个vector，可以看到，dogs和dog是比较接近的。

这里写图片描述

可以拿来做语音搜寻，不需要语音辨识到文字，就可以通过语音找到想找的内容。

这里写图片描述

那么怎样吧audio变成vector呢？最后一个时间点的值么就能表示这句话。

这里写图片描述

只有一个encoder是没办法训练的，还需要又一个decoder，RNN encoder和decoder是一起训练的，使x与y越接近越好。

这里写图片描述

下图的结果还有一个有趣的事情，把fame的f换成n，与fear的f换成n，vector转化的方向是一致的。

这里写图片描述

Sequence to Sequence Demo：

这里写图片描述

这里写图片描述

这里写图片描述

Attention-based Model

现在除了RNN外，还有一种方法也用到了memory，Attention-based Model，可以想做是RNN的进阶版，像人的大脑有非常强的记忆里。

这里写图片描述

machine也可以有一个巨大的脑容量。

这里写图片描述

上面这个model还有一个2.0版本，Neural Turing Machine，不仅可以读，还可以写入。

这里写图片描述

这种方法常常被用于阅读理解，Reading Comprehension，向machine提问。

这里写图片描述

这里写图片描述

Visual Question Answering，不仅可以做文字理解，图像理解同样work。

这里写图片描述

它的做法就是，给machine看一张图，通过CNN可以把图的每一小块都用一个vector来表示。

这里写图片描述

Speech Question Answering，还可以用来解答语音问题。

这里写图片描述

用的model和刚刚的大同小异，让machine先读一下question，把question做语义分析，得到question的语义，声音的部分，先用语音分析把它转换成文字，再把这段文字作语义分析的到这段文字的语义，machine结合两者解析出来的语义，Attention出哪些部分是与解决问题有关的，通过Attention，得到答案，而答案和Attention之间是可以来回调整的，通过与选项比较，最后选择出答案。

这里写图片描述

Deep & Structured

RNN v.s. Structured Learning

这里写图片描述

Integrated together

input的feature先通过蓝框，然后将篮框的output作为绿框的input，将两者结合起来。

这里写图片描述

这里写图片描述

Is structured learning practical?

这里写图片描述

这里写图片描述

这里写图片描述