自监督学习

自监督学习

自监督学习提供了一个可靠的途径，使得网络可以从大量无标注的数据中学习到特征提取的能力。
自监督学习的思想主要是设计一个辅助训练目标，然后利用大量无标注的数据本身的结构或者特性，训练网络使得网络具备特征提取的能力。

在网络具备特征提取能力之后，通过少量的有标注的数据对网络进行微调，使得网络具有分类的能力。

当网络通过辅助任务学习到特征提取能力后，同一类别的特征会在一定程度上聚合，而不同类别的特征会在一定程度上分离，为后面的图像分类任务提供了良好的基础。

我们的世界严格的遵守着自然地规律，视觉信号是这些内在规则的外在反映，而深度学习可以很好的提取这些内置的规则。所以，无监督、自监督有好的理论基础。

自然界是有序的、低熵的，这使得数据本身就已经包含了丰富的信息，如何更好地提取利用这些信息，这是无监督或者自监督学习的关键。

自监督学习和无监督学习？

虽然无监督学习和自监督学习都是机器学习领域中常见的学习方式，但它们并不是完全相同的概念，它们的表述也不是完全一致的。

无监督学习是指从无标注的数据中学习模型，不需要人为标注的监督信号。无监督学习任务包括聚类、降维、生成等，目的是发现数据内在的结构或者进行数据预处理等。

自监督学习则是指在没有人工标注的情况下，通过模型自己生成标签或利用数据本身的自然属性作为监督信号来学习模型。自监督学习通常使用数据中的一部分作为输入，通过模型预测数据的其余部分或者与其他数据的关系，从而训练出一个有用的模型。

因此，无监督学习和自监督学习的表述并不是完全相同的，它们有着不同的学习目标和方法。虽然它们都涉及无需人工标注的数据，但无监督学习更侧重于发现数据中的内在结构，而自监督学习则更侧重于利用数据本身的自然属性进行学习。