maskrcnn-benchmark是Facebook开源的基准（benchmark）算法工程，其中包含检测、分割和人体关键点等算法。
目前，很多基于PyTorch框架的检测、分割的SOTA算法，都是这个项目的改进。例如CVPR 2019 Oral Paper，Mask Scoring R-CNN。
工程：github.com/facebookres…
名称：Faster R-CNN and Mask R-CNN in PyTorch 1.0
- 如何使用pip环境配置工程；
- 如何使用MacOS的CPU环境配置依赖库；
环境：MacOS + pip + torch + maskrcnn-benchmark
本系列包含两篇：
- 第一篇 搭建环境；
- 第二篇 训练和验证；
配置
下载maskrcnn-benchmark工程
git clone https://github.com/facebookresearch/maskrcnn-benchmark.git
复制代码virtualenv创建虚拟环境，选择python3，同时激活。
virtualenv -p python3 mlp3_venv
复制代码必须使用Python3.6.8+，推荐使用3.7
或者 使用已有的虚拟环境。
安装依赖包：
pip install ninja yacs cython matplotlib tqdm opencv-python
复制代码安装PyTorch，直接官网
pip3 install torch torchvision
复制代码依赖库
maskrcnn-benchmark需要两个依赖库cocoapi和apex，参考，略有不同。
安装包：pycocotools 2.0，激活已有的虚拟环境，再执行：
git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI
python setup.py build_ext install
复制代码安装包：apex 0.1，执行：
git clone https://github.com/NVIDIA/apex.git
cd apex
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py install --cpp_ext
复制代码Ubuntu服务器，可以使用以下命令，参考：
cd apex
pip install -v --no-cache-dir .
复制代码注意：
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++是Mac所特有，指定编译的C++库；- CPU环境，不添加
--cuda_ext；
安装包：maskrcnn-benchmark 0.1，执行
cd maskrcnn-benchmark
MACOSX_DEPLOYMENT_TARGET=10.9 CC=clang CXX=clang++ python setup.py build develop
复制代码预测
在·.torch/models中，下载模型，约458M：
wget https://dl.fbaipublicfiles.com/detectron/37697547/12_2017_baselines/e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao/output/train/keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival/generalized_rcnn/model_final.pkl
复制代码重命名：
mv model_final.pkl _detectron_37697547_12_2017_baselines_e2e_keypoint_rcnn_R-50-FPN_1x.yaml.08_42_54.kdzV35ao_output_train_keypoints_coco_2014_train%3Akeypoints_coco_2014_valminusminival_generalized_rcnn_model_final.pkl
复制代码使用OpenCV读取图片，cv2.imread()；
加载配置文件e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml，其中：
- keypoint是关键点算法；
- rcnn是检测算法；
- R_50是ResNet50；
- FPN是特征金子塔（Feature Pyramid Networks）;
- 1x是训练方案，即minibatch为16，该方案的初始LR=0.02，并在60K和80K次迭代后衰减*0.1，在90K次迭代终止，参考；
使用CPU模式，MODEL.DEVICE设置为cpu；
创建模型COCO Demo，最小图片尺寸800，置信度0.7；
调用run_on_opencv_image接口预测图片，生成已绘制结果的图片。
源码如下：
import os
import cv2
import pylab
import matplotlib.pyplot as plt
from maskrcnn_benchmark.config import cfg
from demo.predictor import COCODemo
from root_dir import DATA_DIR
def show_cv_img(img_cv):
img = cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB)
plt.imshow(img)
plt.axis("off")
fig = plt.gcf()
fig.set_size_inches(10, 8)
pylab.show()
def main():
img_path = os.path.join(DATA_DIR, 'girl_generation.jpg')
img = cv2.imread(img_path)
print('[Info] img size: {}'.format(img.shape))
show_cv_img(img)
config_file = "../configs/caffe2/e2e_keypoint_rcnn_R_50_FPN_1x_caffe2.yaml"
cfg.merge_from_file(config_file) # 设置配置文件
cfg.merge_from_list(["MODEL.DEVICE", "cpu"]) # 指定为CPU
coco_demo = COCODemo( # 创建模型文件
cfg,
min_image_size=800,
confidence_threshold=0.7,
)
predictions = coco_demo.run_on_opencv_image(img)
show_cv_img(predictions)
if __name__ == '__main__':
main()
复制代码效果：
Troubleshooting
常见问题的解决方案。
libomp.dylib
遇到如下问题：libomp.dylib无法加载
ImportError: dlopen(python3.7/site-packages/torch/_C.cpython-37m-darwin.so, 9): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib
Referenced from: python3.7/site-packages/torch/lib/libshm.dylib
Reason: image not found
复制代码安装libomp包：
brew install libomp
复制代码参考：github.com/pytorch/pyt…
torch.version.cuda.split('.')
GPU的版本，异常：
get_cuda_version
return tuple(int(x) for x in torch.version.cuda.split('.'))
AttributeError: 'NoneType' object has no attribute 'split'
复制代码环境是Mac的CPU环境，没有GPU，而在apex源码中，依然寻找GPU，导致Bug，修改源码即可：
/apex/amp/lists/torch_overrides.py的第69行，增加Try-Except语句，屏蔽异常：
try:
if utils.get_cuda_version() >= (9, 1, 0):
FP16_FUNCS.extend(_bmms)
else:
FP32_FUNCS.extend(_bmms)
except:
FP32_FUNCS.extend(_bmms)
复制代码fatal error: Python.h: No such file or directory
缺少Python的头文件，安装开发版即可：
sudo apt-get install python3-dev
复制代码推荐使用apt-fast下载，非常快。
OK, that's all!