自监督表征预训练

掩码图像建模 (MIM) 是指：将图像中一些图像块掩码掉，用其他剩下的可见的图像块 (Visible patches) 来预测被掩码掉的图像块 。

BEiT：BEiT将可见图像块的颜色信息和掩码图像块掩码一起输入到ViT中，然后ViT输出通过一个线性层来做预测。虽然ViT可以称为编码器，但是它负责了两个工作：表征编码和预测掩码图像块，没有将两个任务分离。

MAE：首先将input inage切分成patches，执行mask操作，只把可见的patches送入encoder中，再将encoder的输出以及mask tokens作为decoder的输入，decoder重构整张image。

编码器：实际上就是ViT，将input image切分成不重叠的patches之后，执行linear projection，再加上位置编码，送入transformer blocks。

解码器：同样使用ViT，将mask tokens和encoded visible patches作为输入，加上位置编码。decoder的最后一层是linear projection，输出通道数量和一个patch内的pixel数量相同，然后再reshape，重构image。

 CAE：将可见图像块输入到编码器中，提取可见图像块表征，在编码表征空间中做预测，使掩码图像块表征和从可见图像块中预测得到的表征一致，将预测的掩码图像块的表征输入到decoder预测图像块。