李宏毅学习笔记——自监督学习（二）

自监督SSL（Self-supervised Learning）

提出背景：
完全监督模型： 有样本和标签，每个样本都已经被标注好，用已标注的数据去训练模型。
在这种情况下，如果我们需要对文章进行分类，分成积极和消极，那我们需要先对所有文章进行标注，才能训练模型，但是手工标注是一个非常辛苦繁琐的事情。
自监督模型： 在没有标签的情况下，自己想办法做supervised。把一个文章x分成两半x‘和x’‘，把x‘放入模型，模型输出y，我们的目的就是让y跟x‘’越接近越好，这时候的x‘’就可以理解为x‘的标签。
用Bert作为例子学习。

Bert

输入一个sequence（序列），输出一个序列。
“序列”可以是文字、语音、图片。
原理： 遮住序列中的一个词，给他改成mask（盖住）或者改成随机字。具体选哪种方法也是随机的。把盖住地方的输出作为一个矩阵linear存放，然后做softmax，得到输出向量。
训练的目标： 我们知道被盖住的字是什么，bert不知道，我们需要不断优化模型，让输出跟原来的ground truth一样（越来越接近）。我们也可以给他理解为是一个分类模型，那分成几类呢？一共4000个汉字的话就分4000类，我们假如盖住的字是“湾”那就想要预测结果是“湾”这个类别。

使用场景： 通过Fine-tune生成不同的模型，可以做很多下游任务。虽然看起来只能做填空题，但是我们给他想象成胚胎干细胞，他可以分化（我们就叫微调）成很多细胞。
测试Self-Supervised好坏：GLUE