扒皮深度学习里边那些高大上的名词：有监督、半监督、无监督、弱监督、自监督

Seven博士接触了这么久的深度学习，也算是自学从入门到现在吧，自我觉得在读论文的时候千万不要被那些高大上很学术的名词给吓退缩，其实你真正的结合源代码看一下他们很简单的操作，可能思路会有一点绕。比如几年前从入门的时候，gate我就理解了好久，其实结合源代码他就是一个权重大小的控制单元而已。所有的东西都是这样，你接触得越多看得越多，自然而然就会通透。

目前我所涉及的整个大领域是无监督的大模型方向，所以就各种监督任务以及各种学习的名词做一个总结：

深度学习就模型训练来说可以分为两大类：一类是有监督的任务，另一类就是无监督的任务。

有监督的任务我们应该都能够理解，就是需要有标签的数据，这个不过多赘述。

随着大模型的出现，我们训练的数据量庞大，比如我最近在研究的对比学习，OpenAI发布的CLIP里边的图像文本数据对就有4亿对，针对于如此庞大的数据量，如何去给数据做标注是一大难点。因此近几年对无监督的研究越来越多......

有监督学习（supervised learning）：用有标签的数据进行训练模型；

无监督学习(unsupervised learning)：用无标签的数据进行训练模型；