[论文笔记] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

最近，在实验室里接了一个商业项目，我所需要完成的部分是通过识别图片内商品类别，并通过相关技术还原其相关参数，如：长、宽、高、深度（即距离摄像头的距离）。老板给了篇论文让我们先进行阅读，也就是Faster R-CNN。在阅读期间，我遇到了许多的困难，在此记录下来，希望以后阅读这篇论文的人能绕开不必要的坑。

目录

1. 关于论文
2. 运行论文作者所提供代码
3. 论文理解

1. 关于论文

《Rich feature hierarchies for accurate object detection and semantic segmentation》、《Fast R-CNN》、《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》，这三篇论文的作者都是Ross Girshick，该作者也在GitHub上分别开源了相关源码：rcnn，fast rcnn，faster rcnn

2. 运行论文作者所提供代码

对于论文实现部分，作者提供了两种实现方式：一种是 MATLAB版本，另一种是 Python版本。
作者在其Python版本的README中明确指出：不推荐使用Python版本的源码，若想复现NIPS 2015 那篇论文，最好使用MATLAB版本的源码。

由于我之前都是使用 Tensorflow 运行他人所复现的代码，所以我选择 endernewton/tf-faster-rcnn 所提供的源码进行复现。

在实验室中，我先是在一台无GPU的主机上进行运行，成功后便将其移植到 Jetson TX2 上。所以，在这篇博文中，我将分别讲述使用CPU和使用GPU两种运行途径。

2.1. 配置环境

所需环境：

• Tensorflow (可以翻阅我之前的博文，查看如何安装)
• Python (我所用版本为 Python 2.7)
• Python packages : cython, opencv-python, easydict

建议各位将电脑语言设置为英文，以避免出现路径中含有中文的现象发生，我之前便因为这个原因浪费了一些时间，这篇博文中有指出这一问题。

2.2. 更改相关文件

由于代码默认使用 GPU 进行运行，若仅有CPU，就必须将代码进行必要修改。
按照作者在 README 上的指导进行修改，仍会有错误报出，应按这篇博文所提供的办法修改：

(1) 修改 lib/model/nms_wrapper.py

按照图中箭头所指示的地方，将代码注释，作用就是为了直接禁用掉GPU模式。

(2) 修改 lib/setup.py

需要注意的是，不要直接用三个引号的方式整块注释，要一行一行注释。
如果还有疑惑，不妨参考以下博文：

• TF-Faster-RCNN训练篇（基础版）结合自己训练的修改过程而撰写
• tf-faster rcnn 配置 及自己数据

2.3. 调用demo文件

该文件用于展示模型的图片识别效果，将其稍作修改便可以进行个性化设置。

#!/usr/bin/env python

# --------------------------------------------------------
# Tensorflow Faster R-CNN
# Licensed under The MIT License [see LICENSE for details]
# Written by Xinlei Chen, based on code from Ross Girshick
# --------------------------------------------------------

"""
Demo script showing detections in sample images.
See README.md for installation instructions before running.
"""
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import _init_paths
from model.config import cfg
from model.test import im_detect
from model.nms_wrapper import nms

from utils.timer import Timer
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import os, cv2
import argparse

from nets.vgg16 import vgg16
from nets.resnet_v1 import resnetv1

CLASSES = ('__background__',
           'aeroplane', 'bicycle', 'bird', 'boat',
           'bottle', 'bus', 'car', 'cat', 'chair',
           'cow', 'diningtable', 'dog', 'horse',
           'motorbike', 'person', 'pottedplant',
           'sheep', 'sofa', 'train', 'tvmonitor')

NETS = {'vgg16': ('vgg16_faster_rcnn_iter_70000.ckpt',),'res101': ('res101_faster_rcnn_iter_110000.ckpt',)}
DATASETS= {'pascal_voc': ('voc_2007_trainval',),'pascal_voc_0712': ('voc_2007_trainval+voc_2012_trainval',)}

def vis_detections(im, class_name, dets, thresh=0.5):
    """Draw detected bounding boxes."""
    inds = np.where(dets[:, -1] >= thresh)[0]
    if len(inds) == 0:
        return

    im = im[:, :, (2, 1, 0)]
    fig, ax = plt.subplots(figsize=(12, 12))
    ax.imshow(im, aspect='equal')
    for i in inds:
        bbox = dets[i, :4]
        score = dets[i, -1]
		#可在此处进行修改，以获取识别物体在图中的相应信息
        ax.add_patch(
            plt.Rectangle((bbox[0], bbox[1]),
                          bbox[2] - bbox[0],
                          bbox[3] - bbox[1], fill=False,
                          edgecolor='red', linewidth=3.5)
            )
        ax.text(bbox[0], bbox[1] - 2,
                '{:s} {:.3f}'.format(class_name, score),
                bbox=dict(facecolor='blue', alpha=0.5),
                fontsize=14, color='white')

    ax.set_title(('{} detections with '
                  'p({} | box) >= {:.1f}').format(class_name, class_name,
                                                  thresh),
                  fontsize=14)
    plt.axis('off')
    plt.tight_layout()
    plt.draw()

def demo(sess, net, image_name):
    """Detect object classes in an image using pre-computed object proposals."""

    # Load the demo image
    im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name)
    im = cv2.imread(im_file)

    # Detect all object classes and regress object bounds
    timer = Timer()
    timer.tic()
    scores, boxes = im_detect(sess, net, im)
    timer.toc()
    print('Detection took {:.3f}s for {:d} object proposals'.format(timer.total_time, boxes.shape[0]))

    # Visualize detections for each class
    CONF_THRESH = 0.8
    NMS_THRESH = 0.3
    for cls_ind, cls in enumerate(CLASSES[1:]):
        cls_ind += 1 # because we skipped background
        cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]
        cls_scores = scores[:, cls_ind]
        dets = np.hstack((cls_boxes,
                          cls_scores[:, np.newaxis])).astype(np.float32)
        keep = nms(dets, NMS_THRESH)
        dets = dets[keep, :]
        vis_detections(im, cls, dets, thresh=CONF_THRESH)

def parse_args():
    """Parse input arguments."""
    parser = argparse.ArgumentParser(description='Tensorflow Faster R-CNN demo')
    parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16 res101]',
                        choices=NETS.keys(), default='res101')
    parser.add_argument('--dataset', dest='dataset', help='Trained dataset [pascal_voc pascal_voc_0712]',
                        choices=DATASETS.keys(), default='pascal_voc_0712')
    args = parser.parse_args()

    return args

if __name__ == '__main__':
    cfg.TEST.HAS_RPN = True  # Use RPN for proposals
    args = parse_args()

    # model path   可在此处进行修改，以选择相应的模型与数据集
    demonet = args.demo_net
    dataset = args.dataset
    tfmodel = os.path.join('output', demonet, DATASETS[dataset][0], 'default',NETS[demonet][0])


    if not os.path.isfile(tfmodel + '.meta'):
        raise IOError(('{:s} not found.\nDid you download the proper networks from '
                       'our server and place them properly?').format(tfmodel + '.meta'))

    # set config
    tfconfig = tf.ConfigProto(allow_soft_placement=True)
    tfconfig.gpu_options.allow_growth=True

    # init session
    sess = tf.Session(config=tfconfig)
    # load network
    if demonet == 'vgg16':
        net = vgg16()
    elif demonet == 'res101':
        net = resnetv1(num_layers=101)
    else:
        raise NotImplementedError
    net.create_architecture("TEST", 21,
                          tag='default', anchor_scales=[8, 16, 32])
    saver = tf.train.Saver()
    saver.restore(sess, tfmodel)

    print('Loaded network {:s}'.format(tfmodel))
	#可在此处进行修改，以选择数据集中相应的图片
    im_names = ['000456.jpg', '000542.jpg', '001150.jpg','001763.jpg', '004545.jpg']
    for im_name in im_names:
        print('~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~')
        print('Demo for data/demo/{}'.format(im_name))
        demo(sess, net, im_name)

    plt.show()

2.4. 运行效果

3. 论文理解

由于我的知识有限，也不能在这里给大家讲解这几篇论文了，怕误人子弟。
这里放一些相关的博客，希望大家能有所收获：

• 【目标检测】Faster RCNN算法详解
• 一文读懂Faster RCNN
• Faster R-CNN - 目标检测详解
• 像玩乐高一样拆解Faster R-CNN：详解目标检测的实现过程

---

如果你看到了这篇文章的最后，并且觉得有帮助的话，麻烦你花几秒钟时间点个赞，或者受累在评论中指出我的错误。谢谢！

作者信息：
知乎：没头脑
LeetCode：Tao Pu
CSDN：Code_Mart
Github：Bojack-want-drink