on-line hard example mining in object detection

物体检测中的困难样本挖掘，之前有一个名词叫做hard negative mining困难负样本挖掘

先讨论什么是on-line hard example mining（OHEM）：例如一个背景，被很大概率预测为前景了，那么这个背景就是困难样本；对于一个前景（ground truth classes为foreground），网络模型预测它很大的概率值为背景，则这个前景也是困难样本，也就是说，在线困难忘本挖掘是不区分正负样本的（但是在代码实现中，由于正样本个数较少，通常保留所有的正样本，然后按照1：3的比例采样出3倍数量的负样本），它希望更多的训练困难样本，而不是简单样本，具体的程序实现在 torchcv中的ssdloss.py中有所体现。
在SSD和FPNSSD编码器中，都是将IOU_max大于0.5的anchor设置为正样本，小于0.5的设置为负样本，

classification target为  -1  ingore   0    negative examples      1  2  3  ~  num_classes   positive examples

然后计算SSDLoss时，也是先计算出所有正样本anchor boxes和所有负样本anchor boxes的classification loss，但是size_average参数设置为False，然后从所有的正负样本中找出所有的困难样本。

ingore（classification target=-1）的classification loss=0

然后取出所有的正样本的loss，并记录当前batch size图像中positive examples总数，再对所有的负样本的classification loss进行排序，取出前3*（num positive examples）个负样本，这是因为负样本的个数要比正样本多出很多。

也就是说，SSD训练过程中的正负样本比例是1：3，只对负样本进行了困难样本挖掘，不对正样本进行困难样本挖掘，这样做的主要原因在于，设置IOU_max>0.5做为正样本，或者说在众多的anchor boxes中，正样本的个数很少，大多数都是负样本，这样会带来严重的类别不平衡问题，故而设定固定比例，取出较为困难（体现在classification loss大）的负样本，计算classification loss。在每次训练过程中的困难负样本都不一样，故而称之为在线困难样本挖掘（因为每次模型参数不一样，negative examples的classification loss排序不同）

class SSDLoss(nn.Module):#损失函数
    def __init__(self, num_classes):
        super(SSDLoss, self).__init__()
        self.num_classes = num_classes#类别总数，对于VOC数据集而言，是21类

    def _hard_negative_mining(self, cls_loss, pos):
        '''Return negative indices that is 3x the number as postive indices.

        Args:
          cls_loss: (tensor) cross entroy loss between cls_preds and cls_targets, sized [N,#anchors].  分类损失值
          pos: (tensor) positive class mask, sized [N,#anchors].

        Return:
          (tensor) negative indices, sized [N,#anchors].
        '''
        cls_loss = cls_loss * (pos.float() - 1)   #对于正样本，损失值为0，得到对于负样本计算出的损失值，损失值越大的负样本，cls_loss值越小
        #正样本损失值   0
        #负样本损失值=之前的负样本损失值*（-1）
        #这是因为_hard_negative_mining只返回所有的负样本classification loss
        #从所有的负样本中采样出前（3*num_positive）个负样本的loss
        #这些负样本的classification loss最大，是困难的负样本

        _, idx = cls_loss.sort(1)  # sort by negative losses
        '''
       cls_loss: [N,#anchors]  正样本的损失值为0，对于负样本，损失值越大，cls_loss越小
       tensor.sort方法返回sort之后的按升序排列的tensor和对应的indices
       对每一行，遍历所有的列，则得到的每一行按照升序排列，即对于每个input images，得到其按照升序排列的分类损失idx
       
       idx同样是[N,#anchors].的tensor，其中的每一行的值范围为  [0,1,2,……,8732]    
       表示当前input image 的所有anchors的负样本的分类损失 由大到小的索引排序
       
       '''
        _, rank = idx.sort(1)      # [N,#anchors]

        num_neg = 3*pos.sum(1)  # [N,]
        #num_neg为长度为batch size 的tensor，其中的每个元素表示3*当前input image中的正样本个数



        neg = rank < num_neg[:,None]   # [N,#anchors]  neg中的数值为1或者0  如果是hard  negative examples，则对应位置处的值为1

        '''
        对于当前batch size张图像中的每一张（每一张图像中的正样本不同）
        找到是当前图像中正样本数量3倍的负样本，并且固定数量的负样本是通过在线困难样本挖掘得到的
        这主要是为了解决计算分类损失函数时样本不均衡的问题，因为比如说SSD300这种模型中8732个default boxes
        中的正样本数量很少（与ground  truth 的overlap大于0.5,在box_coder.encode函数中设置）
        为了保证在同一张图像中的正负样本比例在1：3，故而使用在线困难样本挖掘（在线指的是在训练过程中，这意味着
        在每次训练过程中，每次挖掘到的困难负样本可能是不同的，要根据网络模型预测的输出值决定）
        算法如下：
        首先取出所有的负样本，对于当前batch_size*#anchors  ，对于每一行（每张训练图像）的分类损失值进行排序
        按照当前图像中正样本的数量的3倍取出loss值排在前面的负样本）
        负样本的分类损失值计算：np.log(p)  小    p小，就是说对于负样本预测为背景类的概率值小，就是预测为前景的概率值大
        这些是很容易被分类错的负样本，被称为困难负样本，这些样本的loss值很大，对于网络模型的参数更新非常有效
        而那些很容易就能被分类正确的负样本对于最终权值更新效果不大，故而舍弃
        '''
        return neg

    def forward(self, loc_preds, loc_targets, cls_preds, cls_targets):
        '''Compute loss between (loc_preds, loc_targets) and (cls_preds, cls_targets).
        计算分类损失和回归损失

        Args:
          loc_preds: (tensor) predicted locations, sized [N, #anchors, 4].
          对于当前batch size的图像所预测出来的localization N=batch_size,#anchors表示default boxes的数量
          loc_targets: (tensor) encoded target locations, sized [N, #anchors, 4].
          cls_preds: (tensor) predicted class confidences, sized [N, #anchors, #classes].
          对于当前batch size的图像所预测出来的classification  N=batch_size,#anchors表示default boxe数量，#classes表示数据集类别总数
          cls_targets: (tensor) encoded target labels, sized [N, #anchors].
          batch_size行，#anchors列，第i行第j列的元素表示对于第i个训练样本图像，SSD预测出来的第j个default boxes的GT类别标号（一个int类型整数）

        loss:
          (tensor) loss = SmoothL1Loss(loc_preds, loc_targets) + CrossEntropyLoss(cls_preds, cls_targets).
                              位置回归损失                              交叉熵分类损失
        '''
        pos = cls_targets > 0  # [N,#anchors]  pos中的数值是  0 1
        '''
       cls_targets是经过编码之后的classification ground truth
       表示与ground truth bounding boxes的IOU值最大或者大于一定的阈值的anchor boxes则会被认为是正样本，为1
       负样本为-1 
       
       在encoder阶段，
             
       '''

        batch_size = pos.size(0)#每个batch 中包含多少张训练图片
        num_pos = pos.sum().item()#对pos 2-Dtensor求和，得到当前batch size的训练图片中共有多少个anchor boxes为正样本
        #当前batch size 数量的输入图像中，positive examples（这里的正样本指的是default boxes而不是一整张图像）的数量

        #===============================================================
        # loc_loss = SmoothL1Loss(pos_loc_preds, pos_loc_targets)
        #===============================================================
        mask = pos.unsqueeze(2).expand_as(loc_preds)       # [N,#anchors,4]
        loc_loss = F.smooth_l1_loss(loc_preds[mask], loc_targets[mask], size_average=False)#只对正样本进行回归损失的计算
        #mask是# [N,#anchors,4]的3-dimension tensor，扩展的第2维度与之前的数值相同，即对于正样例（batch size中的第i幅图片中的第j个anchors）
        #mask[i,j,:]=1,如果为负样本则mask[i,j,:]=0
        #mask作下标则表示其中元素值为1的下标，即所有的正样本所在的下标（4）

        #===============================================================
        # cls_loss = CrossEntropyLoss(cls_preds, cls_targets)
        #===============================================================
        cls_loss = F.cross_entropy(cls_preds.view(-1,self.num_classes), \
                                   cls_targets.view(-1), reduce=False)  # [N*#anchors*num_classes,]
        '''
       cls_preds:[N,#anchors,num_classes]   view    cls_preds:[（N*#anchors）,num_classes]
       cls_targets：[N*#anchors,]
       计算多分类的交叉损失函数是cross_entropy,reduce参数为false，则返回值cls_loss维度为(N*#anchors)
       分别给出了这一个batch size中每张图像所有anchor boxes的分类损失值得
       '''
        cls_loss = cls_loss.view(batch_size, -1)#cls_loss:[N,#anchors]
        cls_loss[cls_targets<0] = 0  # set ignored loss to 0 现将所有负样本的分类损失变成0，这是为了使用hard negative mining算法挑选出困难负样本
        neg = self._hard_negative_mining(cls_loss, pos)  # [N,#anchors]
        cls_loss = cls_loss[pos|neg].sum()
        '''
        正样本具有分类损失和回归损失，SSD中的正样本包括最大的IOU和IOU值大于0.5的region proposal
        一般的负样本没有分类损失，也没有回归损失
        hard negative examples具有分类损失，不具有回归损失
        实际上训练时采用的正负样本是所有的正样本和所有的hard negative examples，   
       '''

        print('loc_loss: %.3f | cls_loss: %.3f' % (loc_loss.item()/num_pos, cls_loss.item()/num_pos), end=' | ')
        loss = (loc_loss+cls_loss)/num_pos
        return loss

 

 

这里想先记录一下，老板说在物体检测或者特定物体检测的问题中，数据增强中的尺度变换非常重要，可能直接对于最后的结果带来3%的提升，其次是随机旋转-10~10度，可能带来 1%的提升，最后是常规的水平方向翻转的操作。