Meta Learning

• Meta Learning（元学习）是一种机器学习技术，它的核心思想是学习如何学习。

• Meta Learning的目标是从以前的学习经验中学习到通用的学习策略和模式，以便在新的任务上快速适应和学习。

• Meta Learning的核心思想是将学习任务视为元任务，从元任务中学习通用的学习策略和模式，然后将这些策略和模式应用于新的任务中。

Meta Learning的过程通常包括两个阶段：元学习和元测试。

在元学习阶段，模型使用以前的学习经验进行训练，学习通用的学习策略和模式。
在元测试阶段，模型使用已经学习到的策略和模式来快速适应和学习新的任务。

---

MAML

MAML（Model-Agnostic Meta-Learning）的核心思想是通过元学习的方式，让模型能够快速适应新的任务，即在少量的样本上学习一个好的初始化模型，使其能够在新任务上快速收敛。

具体来说，MAML将元学习看作是一个优化问题，通过在训练集上进行多次迭代，更新模型参数，使得模型能够快速适应新任务。

同时，为了使得模型具有更好的泛化能力，MAML还引入了一个正则项，对模型参数进行约束，使得模型能够更好地适应新任务。MAML的核心思想是将元学习应用于各种不同类型的模型和任务，从而提高模型的泛化能力和适应性。

• 如何尽量减少？ ←− 梯度下降
  
  

Gradient Descent as LSTM

• 这个流程很像RNN，我们不需要关系输入和输出，我们只需要关心学习到的function
  
  
• 对比一下梯度下降和LSTM

---

• The LSTM used only has one cell. Share across all parameters

Siamese Network

Siamese Network是一种神经网络结构，其核心思想是通过共享权重的方式来学习两个输入之间的相似度或差异度

Siamese Network通常用于解决一些需要对比两个输入之间相似度的任务，如图像检索、人脸识别、文本匹配等。

Siamese Network的基本结构是将两个输入通过相同的网络结构进行特征提取，然后将两个特征向量进行比较，得到它们之间的相似度或差异度。在训练过程中，我们会给定一对相似或不相似的输入，并将它们通过Siamese Network进行特征提取和比较，然后根据它们的标签来计算损失函数，从而优化网络参数。

Siamese Network的优点在于，它可以学习到输入之间的相似度或差异度，而不仅仅是对输入进行分类。这使得它在一些需要对比两个输入之间相似度的任务中表现出色。同时，通过共享权重，Siamese Network能够更好地利用有限的数据进行训练，提高模型的泛化能力。

Prototypical Network

Prototypical Network是一种用于元学习（meta-learning）的神经网络结构，用于解决多类别分类问题。

• 其核心思想是通过学习每个类别的原型（prototype），来实现对新样本的分类。

在训练阶段，Prototypical Network会从每个类别中随机选择一些样本，并将它们的特征向量通过神经网络进行编码，得到每个类别的原型。

在测试阶段，对于一个新样本，Prototypical Network会计算它与每个类别原型的距离，并选择距离最近的原型所代表的类别作为预测结果。

Prototypical Network的优点在于，它能够通过学习每个类别的原型，实现对新样本的快速分类。
同时，由于原型是通过少量样本计算得到的，因此它具有很好的泛化能力。

此外，Prototypical Network还可以通过元学习的方式，快速适应新的任务，使得模型能够在不同的分类任务中表现出色。

Relation Network

Relation Network是一种用于元学习（meta-learning）的神经网络结构，用于解决多类别分类问题。其核心思想是通过学习样本之间的关系，来实现对新样本的分类。

在训练阶段，Relation Network会接受一个包含多个类别的小数据集作为输入，并通过神经网络对每个样本进行编码。然后，它会计算每两个样本之间的关系，并将关系向量通过另一个神经网络进行处理，得到一个表示整个数据集关系的向量。

在测试阶段，对于一个新样本，Relation Network会将它的特征向量与整个数据集中每个样本的特征向量进行关系计算，并将关系向量输入到最后一层神经网络中，得到预测结果。

Relation Network的优点在于，它能够通过学习样本之间的关系，实现对新样本的快速分类。同时，由于它能够考虑整个数据集的关系，因此它具有很好的泛化能力。此外，Relation Network还可以通过元学习的方式，快速适应新的任务，使得模型能够在不同的分类任务中表现出色。