OpenMMLab学习第二课

图像分类，目标，给定一张图像，识别图像中的物体是什么

数学表示：类别编号香蕉→1，苹果→2，橘子→3 等等，而图像是由像素构成的数组x，y=f(x)，y=1，类别：香蕉

设计一个含参变量的函数y=f（x），通过大量数据，调整参数

机器学习善于处理低维、分布相对简单的数据，有很多图像数据是几十万维需要用到深度学习

深度学习靠卷积或多头注意力来提取特征，在注意力机制里面，特征是输入的函数

 

实现

 

query和key、value来自一张图叫做自注意力机制，query来自不同图叫做互注意力机制。query是我关注什么东西，key是我有什么东西，query和key做一个相关性计算

一、监督学习

给一个损失函数去寻找损失最小的参数（需要大量数据标注）

二、自监督学习

通过设计辅助任务，让网络在无标注的数据集上学习特征