【论文笔记】Multimodality in Meta-Learning: A Comprehensive Survey

论文标题：Multimodality in Meta-Learning: A Comprehensive Survey

论文地址：https://arxiv.org/abs/2109.13576

发表时间：2021年9月

Abstract

元学习作为一种训练框架而广受欢迎，它比传统的机器学习方法更具有数据效率。然而，它在复杂任务分布（例如多模态任务）中的泛化能力尚未得到深入研究。最近，出现了一些关于基于多模态的元学习的研究。

本调查在方法和应用方面全面概述了基于多模态的元学习环境。我们首先正式定义元学习和多模态的定义，以及这个不断发展的领域的研究挑战，例如如何丰富少样本或零样本场景中的输入以及如何将模型推广到新任务。然后，我们提出了一种新的分类法，以系统地讨论典型的元学习算法与多模态任务相结合。我们调查相关论文的贡献并通过我们的分类法对其进行总结。最后，我们为这个有前途的领域提出了潜在的研究方向。

Foundations

基于多模态的元学习范式，如下图

 基于多模态的元学习分类法，如下图

Learn the Optimization

元学习的多模态方法，大多数都建立在与模型无关的元学习框架 (MAML) 之上

例如 SMIL 架构，如图

SMIL 通过一起训练主网络、重建网络 φc 和正则化网络 φr 来扩展 MAML。  xi 表示不同的模态。  φc 和 φr 一起表示内部优化参数，而主网络负责学习元参数 ω∗

并且文中还总结了一种架构 MetaST 架构，如下图

针对的问题是，不同传感器收集的图片数据，进行融合，在做出决策任务

使用了 CNN 进行特征提取，后针对该特征进行 LSTM 提取，由于 LSTM 的特性，有效的提取了时空相关的信息，即同一个位置，时间不同时候的变化情况

基于 MetaST 架构的优化，又提出了 HetMAML 、CROMA 架构

Learn the Embedding

跨模态编码器，如下图 

确定性原型。模态通过融合模型融合并转换为联合表示。每个类中的每个多模态原型 pm 都被投影到多模态嵌入空间上。然后将查询样本 x 与不同的多模态原型进行比较以获得预测

转移原型。 通过以一种方式对原始原型进行调节来生成新原型。引入了对原始原型和生成的原型进行平均的灵活选择。 以一类 p1 为例，AM3 自适应地结合了 pv1 和 pt1。基于情节的 PGN 通过整合生成的原型 pv1 和 pt1 来修改目标函数。MPN 将条件 pv1 与原始 pv1 平均。根据加权因子的值，新原型应该位于绿线上的任何位置

AM3 和 MPN 为一种组合方式

基于 Gan 架构的多模态元学习任务

Summary of Methods

将元学习方法用于具有多模态数据集的各种应用的论文概述。