Masked Feature Prediction 一种新的自监督学习算法

最近发现了一篇挺好的论文，虽然不是语义分割方面的论文，但是看完以后还是很有启发性的。

论文名称：Masked Feature Prediction for Self-Supervised Visual Pre-Training  这是一种新的自监督学习算法，当然依然利用最近何大佬提出的mask-and-predict 这样的思想来实现自监督学习预训练。其中最大的区别在于利用mask后的图像直接在特征空间中回归HOG特征实现网络训练。

 整体的算法结构图如下所示，整体思想非常简单。mask输入图像的部分内容之后，经过网络的输出，让其拟合原始图像mask掉的那一部分的HOG特征。

 因为我不是搞这方面的我也就不细说了，大家感兴趣的话，可以下载论文去细看一下。我看到这篇论文突然想到最近几年深度学习一直在往回捯饬。前段时间大火的RepVgg ,就是重新去考虑Vgg 网络结构，现在大家开始走到了2012年深度学习开始那段时间，开始将一些手工的特征加入到了深度学习网络中，虽然整个思路比以前想法更加成熟效果也更好。我看了只是感慨现在大家有空看看一些比较老的文章还是很有效果的。