Guided Anchoring

titile	Region Proposal by Guided Anchoring
url	https://arxiv.org/pdf/1901.03278v1.pdf
动机	利用语义特征来指导anchor的生成代替传统的anchor方法(大量anchor)，受物体在图像分布不均匀启发，物体的scale受图像内容影响
内容	anchor设计的原则： 1、alignment：使用卷积特征作为anchor的表示特征，anchor中心需要与feature map像素位置一致 2、consistency：feature map不同位置对应的anchor的感受野大小和语义范围(大小和尺寸)要一致 传统anchor设计的弊端： 1、不同的问题都用相同比例的anchor，错误的设计将会阻碍检测的精度及速度 2、为了proposals保持较高的召回率，生成大量的anchors。其中大多数的anchor为 false candidates，与目标无关，同时也会占用大量的计算资源 GA贡献： 1、新的anchor策略，可以预测任意形状anchor 2、用两个分解的条件分布计算anchor联合分布，并设计两个模块 3、align：设计feature adaption module，根据底层anchor refine feature，保持一致性 4、high-quality proposals Guided Anchoring： 两条重要信息：(1)目标在图像中的区域 (2) 目标的尺寸、比例与location密切相关 1、选择locations预测概率大于一定阈值的区域 2、选择location最有可能的shape! 3、FPN多层anchor生成，anchor 生成的参数在所有层特征共享 Anchor Location Prediction location模型：1*1卷积得到objectness 分数，接element-wise sigmoid得到概率，选择概率大于阈值的location，可以过滤90%的anchor，并保持较高的recall Anchor Shape Prediction： 与传统anchor不同的在于，不改变anchor的位置，所以不会造成anchor和feature的misalignment；一个位置只预测一种形状的anchor，因为locations和shapes的密切联系，recall更高，对极端形状的目标更好(tall、wide) 直接预测w、h取值范围较大，所以进行变换 将取值范围由[0,1000]变成[-1,1] shape模型：1x1x2的卷积网络预测dw,dh，通过element-wise的(2)式变换得到w,h Anchor-Guided Feature Adaptation： 传统方法：每个位置均匀共享相同尺寸的anchors，feature map学到连续的表示(consistency)。 本文方法：每个位置形状不同，不能使用传统的全卷积，因为较大anchor的特征应编码较大区域的特征，小anchor特征应编码较小的区域特征。 设计基于每个独立位置anchor形状调整feature 形状的anchor guided feature adaptation模块： anchor guided feature adaptation模块：3x3的可变形卷积，通过anchor 形状预测分支的offset结合原始feature map可变形卷积得到新的feature map，在新特征上进行分类及回归 Training: Joint objective: Anchor location targets： binary label map：1表示anchor有效位置，0位无效位置 binary label map生成方法(利用ground-truth)： 目标：目标的中心附近anchors较多，较远处较少 1、将ground-truth bbox的坐标由原图映射到feature map 2、bbox区域定义：中心区域为正样本CR，忽略区域ignore IR，外部区域负样本OR。如Figure2 3、FPN：每层feature map只对应特定尺寸的目标；如果feature map与目标尺寸匹配，分配CR。相同区域的相邻层设置为IR；多目标overlap，CR>IR>OR；CR占很少部分，因此使用Focal Loss训练定位分支 Anchor shape targets： 1、匹配anchor与ground-truth 由于没有predefined anchor的宽高，计算IOU是一个问题 对于任意anchor位置（x0，y0）和ground-truth gt，vIoU（awh，gt）的分析表达式很复杂，难以在端到端网络中高效实现 采样w,h常用值，列举w,h。计算采样的anchor与ground truth IOU，选取最大的IOU作为vIOU的近似 2、预测anchor的宽高 本文采样9对不同尺寸及比例的(w,h)。并不直接回归anchor的宽高 损失函数与原始近似相同，由于anchor的位置固定，只优化w,h The Use of High-quality Proposals： RPN及GA-RPN产生的anchors IOU的分布规律 GA-RPN优势： 1、正proposals的数量更多。 2、高IOU的proposals比例更有重要。 直接将RPN换作GA-RPN效果提升不大。用GA需要根据proposal分布调整训练样本分布，所以调高了正负样本比，选择少的samples
实验	Experimental Setting： Implementation details： 1、backbone：ResNet50，FPN 2、σ1 = 0.2, σ2 = 0.5，loss：λ1 = 1, λ2 = 0.1 Results： Ablation Study： Model design Anchor location Anchor shape（ total anchor number is reduced by 1/k） Feature adaption 性能提升不仅是因为采用可变卷积，还因为配合了shape prediction得到的offset Alignment and consistency rule The use of high-quality proposals(高IOU阈值，少proposals数量) Hyper-parameters 1、As we sample 3, 9, 15 pairs to approximate Eq.(5), we respectively obtain AR@1000 68.3%, 68.5%, 68.5%. 2、We set λ2 = 0.1 to balance the loss terms by default. We obtain 68.4% with λ2 = 0.2 or 0.05 and 68.3% with λ2 = 0.02. 3、 We vary σ1 within [0.1, 0.5] and σ2 within [0.2, 1.0], and the performance remains comparable (between 68.1% and 68.5%)
思考