【学习】Reptile、梯度下降的LSTM、Siamese Network、原型网络、匹配网络、关系网络

---

Reptile

RNN

LSTM

RNN的变形


加入门

梯度下降的LSTM

GD看似像简化的LSTM

可以让机器自动学习这些zf和zi

典型的LSTM的c和x是没有关系的，但是GD的LSTM的θ和输入的梯度是有关系的。


优点：合理的模型尺寸；在典型的梯度下降中，所有参数使用相同的更新规则；训练和测试模型架构可以不一样。

参数更新不仅取决于当前梯度，还取决于先前的梯度。


加入另一个LSTM，m存储之前的数据

基于度量的方法

学习一个能同时输入训练资料和测试资料，输出结果的网络。

Siamese Network

暹罗网络-直观解释：二元分类问题:“它们是相同的吗？”


图片经过cnn之后得到的数据，如果是同一张脸就会很相近，不同就会很远。
auto-encoder会保留图片的所有资料。
我们应该使用什么样的距离？

N-way Few/One-shot Learning

假如任务是分类问题而不是回答是否的问题。

原型网络

匹配网络

s层经过多跳相似记忆网络之后才得到输出

关系网络

使用另外的网络计算相似度。

虚拟数据的少量学习

使用生成器，一张图片经过G生成多张图，然后放到网络里面。

Train + Test as RNN

输入embedding和类别的one-hot 向量，训练不了