[调研] 人脸/车牌脱敏 调研

人脸/车牌脱敏 调研

动机

• 脱敏的概念：将图片中的敏感信息（车牌、人脸）进行遮挡
• 流程：
  

数据集

• 专用数据集：暂时如果公司没有提供数据集的话，可以先用公开数据集进行检测器的训练和测试，不过有可能出现跨域的问题
  • 人脸检测专用数据集：WiderFaces
  • 车牌检测专用数据集：CCPD(中科大)、CRPD(电子科大)
• 通用数据集：COCO（自然目标检测数据集）、DOTA（航拍图片数据集，类似的还有西工大的SODA数据集）

方案

人脸检测

• 问题：暂无
• 方案：考虑两种方案——通用检测器和专用检测器

  • 通用检测器。使用例如YOLO系列等实时检测器，例如YOLOv7（速度快，但是可能需要进行某些专用化改进）。下图是在 COCO 几个测试集上的结果，YOLOv7比较适合实时检测的情形
    
    

    

  • 专用检测器。使用例如ASFD和RetinaFace等专门用来检测人脸的检测器（精度非常高，但是速度相比YOLO等检测器可能不尽人意）。下图是在WiderFaces人脸检测数据集上的情况。（遗憾的是，ASFD有着很高的精度，但是代码并没有开源，因此我们更好的做法是直接采用RetinaFace）
    

车牌检测

• 问题：车牌检测需要使用OBB进行框选，因此不能直接使用传统的目标检测器
• 方案：考虑四种解决方案——HBB检测器、实例分割、OBB检测器、专用检测器

  • HBB检测器+传统方法。使用HBB检测器进行车牌的检测，然后针对bbox区域再使用传统方法如像素过滤进行操作（可以直接使用和人脸检测一样的通用检测器，检测过程很快，但是不知道后处理的时间需要多少，实现过程复杂）

  • 实例分割。使用实例分割例如mask r-cnn、SparseInst、Mask DINO等检测器，直接进行mask（效果最好，不过速度相比单纯的目标检测慢很多）。从下图可以总结得到Mask DINO在COCO上具有最高的mask AP，但是速度完全达不到实时的标准；相反，SparseInst的AP较低，但是可以达到非常高的FPS
    
    
    
    
    

  • 关键点回归。使用CenterNet检测器直接对车牌的四个顶点进行回归，过程简单。如果发生了扭曲畸形等情况（比如鱼眼变形），那么仅仅检测四个角点可能不够。
    
    

  • OBB检测器。直接使用OBB检测器例如Oriented R-CNN 找到车牌需要框选的位置，不过目前大部分的OBB检测器针对的是航拍图片的检测，因此应用在车牌监测上面可能会有一些不同（过程简单，但是OBB检测器可能不如HBB检测器成熟，并且检测速度可能比较慢，Oriented R-CNN只能达到15.1 FPS，图像大小为 1024×1024，单 RTX 2080Ti）
    
    

  • 专用检测器：专用于车牌检测的检测器架构，比如电子科大在22年5月提出的CRPD，以及中科大在18年提出的RPNet（下图分别是各个检测器在CRPD和CCPD上的检测表现）
    
    

相关论文

• 人脸检测
  • 通用检测器：YOLOv7
  • 专用检测器：ASFD、RetinaFace
• 车牌检测
  • HBB检测器：YOLOv7
  • 实例分割：SparseInst、Mask DINO
  • 关键点回归：CenterNet
  • OBB检测器：Oriented R-CNN
  • 专用检测器：CRPD、RPNet

问题

• 车牌可能倾斜或者透视
• 如果前一张图片有一张车牌，在第一帧被遮挡了前半部分，检测器没有检测到；第二帧遮挡了后半部分，检测器也没有检测到，那可以通过这两帧还原出来