object_detectionAPI源码阅读笔记（5-model.py）

model.py

上一篇说到Faster R-CNN的流程图被写成类，这里就介绍目标检测的基类-----DetectionModel。在model.py里面，DetectionModel定义的很简单。

概述：

• model.py（object_detection\core\model.py）中有一个DetectionModel是所有的检测模型的基类
• 前面说的faster_rcnn_meta_arch.py中有个FasterRCNNMetaArch类其实就是DetectionModel的子类
• DetectionModel中主要的方发都是抽象方法并未实现，需要在子类中实现，所以就出现object_detection\meta_architectures下的子类，这些都是DetectionModel类的具体实现。
  [ssd_meta_arch.py]：基于SSD算法。
  [faster_rcnn_meta_arch.py]：基于Faster R-CNN算法。
  [rfcn_meta_arch.py]：基于R-FCN算法。
  对于我来说DetectionModel是一个流程图，里面有很多功能：
• 在 train.py及eval.py等脚本中，通过DetectionModel子类对象构建计算图。
• 一般来说，并不直接使用DetectionModel，而会使用它的几个子类，基于特定算法做了进一步改进：

检测模型的流程图：
Training time:
inputs (images tensor) -> preprocess -> predict -> loss -> outputs (loss tensor)

Evaluation time:
inputs (images tensor) -> preprocess -> predict -> postprocess -> outputs (boxes tensor, scores tensor, classes tensor, num_detections tensor)

DetectionModel(object)

就是下面的这些：有好几个未实现的算法：

class DetectionModel(object):
  """Abstract base class for detection models."""
  __metaclass__ = ABCMeta

  def __init__(self, num_classes):
    self._num_classes = num_classes
    self._groundtruth_lists = {}

  @property
  def num_classes(self):
    return self._num_classes

  def groundtruth_lists(self, field):
    return field in self._groundtruth_lists

  @abstractmethod
  def preprocess(self, inputs):
    pass

  @abstractmethod
  def predict(self, preprocessed_inputs):
    pass

  @abstractmethod
  def postprocess(self, prediction_dict, **params):
    pass

  @abstractmethod
  def loss(self, prediction_dict):
    pass

  def provide_groundtruth(self,
                          groundtruth_boxes_list,
                          groundtruth_classes_list,
                          groundtruth_masks_list=None,
                          groundtruth_keypoints_list=None):
    self._groundtruth_lists[fields.BoxListFields.boxes] = groundtruth_boxes_list
    self._groundtruth_lists[
        fields.BoxListFields.classes] = groundtruth_classes_list
    if groundtruth_masks_list:
      self._groundtruth_lists[
          fields.BoxListFields.masks] = groundtruth_masks_list
    if groundtruth_keypoints_list:
      self._groundtruth_lists[
          fields.BoxListFields.keypoints] = groundtruth_keypoints_list

  @abstractmethod
  def restore_map(self, from_detection_checkpoint=True):
    pass

介绍几个重要的函数

• preprocess(self, inputs):
  １.作用：输入数据预处理，以及责作为图像所需的任何调整大小，如的 scaling/shifting/resizing/padding 操作。
  输入：
  ２.inputs：shape为 [batch, height_in, width_in, channels] 的float32 tensor，数值范围在[0, 255]之间。
  输出：
  ３.preprocessed_inputs：shape为[batch, height_out, width_out, channels]的 float32
  tensor。
  ３.注意事项：
  +假设这个操作没有任何可训练的变量，也不以任何方式影响标签注释[这里说的是标签框]（因此应该在外部执行诸如随机裁剪之类的数据增强操作）。
  +没有假设这个函数中的批大小与预测函数中的批大小相同。事实上，我们建议在调用任何批处理操作（这应该发生在模型之外）之前调用预处理函数，并因此假设预处理函数中的批处理大小等于1。
  +也没有明确的假设输出分辨率必须在输入端固定——这是为了支持“完全卷积”设置，其中输入图像可以具有不同的形状/分辨率。
• predict(self, preprocessed_inputs):
  作用：输入preprocessed_inputs的结果，并获取预测值。
  输入：即preprocess函数中的输出preprocessed_inputs 和 true_image_shapes。
  输出：prediction_dict，用字典保存了所有预测结果，可以根据模型自己实现。
  注意事项：
  该函数输出的prediction_dict会用于后续的loss或postprocess中。
  对于不同的模型，prediction_dict中的key也各不相同，具体可以参考DetectionModel的各个子类。
• postprocess(self, prediction_dict, ** params):
  作用：筛选模型预测结果，获取最终检测结果。输出是[0，num_classes）中的整数；背景类被移除。第一个非背景类被映射到0。如果模型产生一个类不存在的类别，则不为类生成输出。输出框被为[y_min, x_min, y_max, x_max]，相对于图像窗口的格式和归一化。num_detections是用来设定固定的检测数量的。同时，没有具体假设任何类型的概率解释。
  输入：predict函数的输出，作为predict的输入。添加了**params，方便二次开发。
  输出是一个字典，包含以下参数：
  1.detection_boxes: shape为[batch, max_detections, 4]
  2.detection_scores: shape为[batch, max_detections]
  3.detection_classes: shape为[batch, max_detections]（根据模型具体实现，该值可能不存在）。
  4.instance_masks: shape为[batch, max_detections, image_height, image_width]，可选参数。
  5.keypoints: shape为[batch, max_detections, num_keypoints, 2]，可选参数。
  6.num_detections: shape为[batch]。
  注意事项：一般用于预测，不用于训练。
• loss(self, prediction_dict):
  作用：通过预测结果计算损失函数的值。
  输入：true_image_shapes是preprocess函数的输出，prediction_dict是predict函数的输出。
  输出：一个字典，保存各类不同损失函数的计算结果tensor，不同算法不同。
• restore_map(self, from_detection_checkpoint=True)
  作用：获取需要从ckpt文件中restore的变量。
  输入：fine_tune_checkpoint_type表示获取数据的类型。
  输出：一个字典，key为变量名，value为变量对象。
• provide_groundtruth(self,
  groundtruth_boxes_list,
  groundtruth_classes_list,
  groundtruth_masks_list=None,
  groundtruth_keypoints_list=None):
  作用:从输入文件中得到真实标签的标签信息
• groundtruth_lists(self, field)：
  输入： 从文中读取输入框文件fields.BoxListFields.{boxes,classes,masks,keypoints}
  输出： 输出tensor的信息列表

这个DetectionModel是所有检测模型的抽象基类，实现需要在各个子类实现，在object_detection\meta_architectures的所有类的定义都是在DetectionModel上定义的，下一篇就是开挖faster_rcnn_meta_arch.py。

DetectionModel使用流程

请看object_detectionAPI源码阅读笔记（3)

参考：

TensorFlow Object Detection API 源码(1) DetectionModel