细粒度分类

细粒度分类方法主要分为四类:
1)基于常规图像分类的网络的微调方法
2)基于细粒度特征学习的方法
3)基于目标块的检测和对齐的方法
4)基于视觉注意机制的方法

1)常规分类模型并不能很好的区分细粒度图像,常用的方法是采用迁移学习,将ImageNet的预训练过的网络权重进行微调,另外还有对loss进行改进,例如使用triplet loss
在这里插入图片描述
细粒度分类_第1张图片
2)基于细粒度特征学习的方法
Bilinear CNN ,采用VGG-D和VGG-M作为基准网络,不使用bounding Box的情况下,CUB200-2011精度84.1%
细粒度分类_第2张图片
在这里插入图片描述
fA:fB 分别提取的特征纬度为KM与KN

3)基于目标块检测的方法
方法思路:先在图像中检测出目标所在位置,再检测出目标中有区分性的区域位置,再将目标图像及区分性的目标区域块同时送入CNN分类,需要bounding box,关键特征点信息。
细粒度分类_第3张图片
4)基于视觉注意机制
细粒度分类_第4张图片
不需要标注信息,并且能够得到比较高的准确率。
细粒度分类的方法都是获取到图像中具有区分性区域,完成分类。

19年之前主流细粒度分类方法如下:
细粒度分类_第5张图片
5)WS-DAN (Weakly Supervised Data Augmentation Network)
该模型创新点:
1.双线性注意力池化机制(Bilinear Attention Pooling ,BAP)
2.类center loss 注意力监督机制
3.基于注意力的数据增强

1.BAP
细粒度分类_第6张图片
通过backbone 产生feature maps ,feature maps 经过1*1卷积降维得到attention maps ;feature maps 和attention maps 的element -wise 乘积产生局部 feature maps,通过conv 或 pool 提取局部特征;将feature maps 和 K 个 attention maps 进行element-wise 生成k个 part feature maps;再进行全局池化,得到M维向量,拼接生成特征P。

2.类center loss 注意力监督机制
为了使相同物体上同一部位的特征尽可能相似,类center loss:
在这里插入图片描述
ck可初始化为0 ,更新如下:在这里插入图片描述
3.注意力的数据增强

细粒度分类_第7张图片
根据attention maps Ak指导数据增强。Ak的归一化处理:
在这里插入图片描述

根据在这里插入图片描述来去定截取进行数据增强的数据。
细粒度分类_第8张图片

细粒度分类_第9张图片

细粒度分类_第10张图片

你可能感兴趣的:(图像处理)