OpenMMLab第二天学习_计算机视觉图像分类

机器学习数据同类距离远图像数据在几十万维的空间中以复杂的方式"缠绕"在一起 常规的机器学习算法难以处理这种复杂数据分布。

计算梯度、统计梯度方向分布，ImageNet图像识别，视觉任务从特征工程到物征学习多头神经网络

人脑可以看成一个“开关网络”，这些开关可以模拟出选择并选择，据此就实现了通用智能——同理，计算机的通用智能，也是来自“开关网络”的模拟，只不过操作这个模拟的是人类智能。

所以，人类智能的通用性，可以说是源于神经网络的结构冗余性，所支撑的可塑性，所带来的可选择性。

通用智能 = 动态结构 + 学习塑造 + 奖励目标，对应到人脑，即：人类智能 = 神经网络 + 强化学习 + 环境信息。

那么AI通识：

•动态结构——可以使用数据结构来模拟。

•学习塑造——可以使用学习算法来模拟。

•奖励目标——可以使用编程驱动来模拟。

卷积神经网络AlexNet，由CNN和马尔可夫随机场组成的混合体系结构提出了heatmap，利用CNN结合heatmap的方式来回归出关键点，结合马尔科夫随机场的思想来优化预测结果

VGG提高层数，保持分辨率，残差网络ResNet，可分离卷积中一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。相比常规的卷积操作，其参数数量和运算成本比较低。注意力机制是机器学习中嵌入的一个网络结构，主要用来学习输入数据对输出数据贡献；注意力机制在NLP和CV中均有使用，本文从注意力机制的起源和演进开始，并主要介绍注意力机制以及在CV中的各类注意力机制。对每个输入赋予的权重取决于输入数据之间的关系，即通过输入项内部之间的相互博弈决定每个输入项的权重。与前两项机制相比，自注意力在计算时，具有并行计算的优势。

同时在计算机视觉领域，按照注意力关注的域，可以将其分成空间域注意力、通道域注意力、时间域注意力、混合域注意力和自注意力等。

完成MMlab平台申请