以mmdet为例,正负样本分配的核心代码在YOLOXHead中的MlvlPointGenerator,SimOTTAssigner,PseudoSampler,_bbox_decode中,其中核心代码在SimOTTAssigner.
yolox是解耦头,输入fpn之后给出的是cls_score:(8,2,80,80),(8,2,40,40),(8,2,20,20),bbox_pred:(80,4,80,80),(80,4,40,40),(80,4,20,20),objectness:(80,1,80,80),(80,1,40,40),(80,1,20,20),3个特征图,每个特征图都有3个head,不再组装成一个长head。
1.MlvlPointGenerator.grid_prior
这里面不存在对每个网格生成anchor的操作,yolox是anchor-free的,这里面anchor的生成实际上是点的生成,一共生成了80*80+40*40+20*20=8400个网格点,或者叫大小为1的anchor,同fcos。
2._bbox_decode
对预测分支的预测值和前面生成的点做了组合。
3.YOLOXHead.SimOTTAssigner
yolox的核心,如何给8400个特征图上的点,原图上的框进行正负样本的分配
1.计算所有在gt bbox内部的anchor点的掩码is_in_gts_all;
2.利用center_radius阈值重新计算在gt bbox中心center_radius范围内的anchor点掩码is_in_centers_all;
3.两个掩码取并集得到在gt bbox内部或处于center_radius范围内的anchor点的掩码is_in_boxes_anchor,同时可以取交集得到每个gt bbox和哪些anchor点符合gt bbox内部和处于center_radius范围内的is_in_boxes_and_centers
若此时获取到is_in_gts_or_center:8400,is_In_boxes_and_center:1596,58
1.valid_mask是前面计算出的is_in_boxes_anchor,如果某个位置是True代表anchor点是前景即落在gt bbox内部或者在距离gt bbox中心center_radius半径范围内,这些True位置就是正样本候选点
2.利用valid_mask提取对应的预测信息,num_gt是58,一共提取了1596个候选预测位置,则每个gt bbox都会提取1596个候选位置
3.计算候选预测框和gt bbox的配对iou,然后加log和负数,变成iou的代价函数
4.计算候选框和gt bbox的配对分类代价,同时考虑了objectness预测分支,并且其分类cost在binary_cross_entropy前有开根号的训练trick,
5.is_in_boxes_and_center是(1596,58),如果某个位置是True表示anchor点落在gt bbox内部并且在距离gt bbox中心center radius半径范围内。在计算代价函数时,如果改预测点是False,表示不在交集内部,那么不太可能是候选点,所以给予一个非常大的权重100000,该操作可以保证每个gt bbox最终选择的候选点不会在交集外部
SimOTTAssigner.dynamic_k_matching
4.PseudoSampler.sample
5.loss