深度学习|自监督学习、MAE学习策略、消融实验

前言：最近在阅读论文，发现太多机器学习的知识不懂，把最近看的一篇论文有关的知识点汇总了一下。

自监督学习

Pretrain-Finetune（预训练+精调）模式：迁移学习，通过在源域数据上学习知识，再迁移到下游其他目标任务上，提升目标任务上的效果。

Self-supervised Learning（自监督学习）：它的目标是更好地利用无监督数据，提升后续监督学习任务的效果。定义一个辅助任务，即从无监督的数据中，通过巧妙地设计自动构造出有监督（伪标签）数据，学习一个预训练模型。

好处：因为有标签的数据集很贵，需要很多人工去打标签，成本高。相反，无标签的数据网上到处都是，便宜。

思路：

• 第一阶段（in a task-agnostic way）：设计辅助任务（Pretext Tasks），用无标签数据将参数从没有训练到初步成型。
• 第二阶段（in a task-specific way）：根据下游任务（Downstream Tasks），去用带标签的数据集把参数训练到完全成型。

特点：第二阶段需要的数据集就不用太多了，因为参数经过第一阶段就训练的差不多，能够节省标记数据集。

MAE学习策略

MAE学习策略是自监督学习的一种。

Encoder-Decoder（编码器-解码器）：是深度学习模型的抽象概念，很多模型都是起源于这个架构，例如CNN。
编码器（Encoder）：负责将输入（Input）转化为特征（Feature）。
解码器（Decoder）：负责将特征（Feature）转化为目标（Target）。

Masked Autoencoders（MAE，掩码自编码器）：随机遮挡（Mask）输入图片部分，然后重建原来的图像。

思路：

• 数据：图像被分割成大小相同的patches，然后随机mask（遮挡）一部分patches。
• Encoder：输入没有被mask的patches就行操作。
• Decoder：输入Encoder处理后的patches和mask的patches就行重建图像。
• 调整：重建后的图像和原始图像作比较，然后调整模型参数。
  

特点：可以把训练好的Encoder部分结合别的Decoder使用，Encoder部分通过MAE学习策略能够从数据中提取有意义的特征。

消融实验

Ablation study（消融实验）：消融实验通常是指删除模型或算法的某些“功能”，并查看其如何影响性能。多个创新方法，或者新型结构模块，或注意力模块等在一起为模型的性能作出了贡献，为了了解每个部分单独能发挥的作用，常常会在论文中提出消融研究。通俗来说，就是控制变量法。

举例：例如某论文提出了方法A，B，C，而该论文是基于某个baseline的改进。因此，在消融实验时候，会进行baseline 、baseline+A、baseline+B、baseline+C、baseline+A+B+C等实验的各个评价指标有多少，从而得出每个部分所能发挥的作用有多大。

在论文表格中，通常会看到“w/o”和“w”，其实指的是消融实验。“w/o”是without的缩写，而“w”或“w/”是with的缩写，它们的后面跟的是要做消融对比的对象。