mmdet tools 使用指南
MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。它是 OpenMMLab 项目的一部分。
主分支代码目前支持 PyTorch 1.8 及其以上的版本。
使用前提
(1)mmdet使用手册地址
https://mmdetection.readthedocs.io/zh-cn/latest/user_guides/index.html#id2
(2)第一次运行前请先运行 pip install seaborn 安装必要依赖
pip install seaborn
日志分析
使用方法
python tools/analysis_tools/analyze_logs.py plot_curve [--keys ${KEYS}] [--eval-interval ${EVALUATION_INTERVAL}] [--title ${TITLE}] [--legend ${LEGEND}] [--backend ${BACKEND}] [--style ${STYLE}] [--out ${OUT_FILE}]
参数解释
- –keys ${KEYS}：要分析和绘制的曲线的键值列表。键值是数据记录中的一个字段，可以是训练损失、验证准确率等指标。
- –eval-interval E V A L U A T I O N I N T E R V A L ：评估间隔，用于确定在曲线图上显示的数据点的数量。 {EVALUATION_INTERVAL}：评估间隔，用于确定在曲线图上显示的数据点的数量。 EVALUATIONINTERVAL：评估间隔，用于确定在曲线图上显示的数据点的数量。{EVALUATION_INTERVAL}是一个整数，表示每隔多少个数据点进行评估和绘制。
- –title T I T L E ：曲线图的标题。 {TITLE}：曲线图的标题。 TITLE：曲线图的标题。{TITLE}是一个字符串，用于设置曲线图的标题。
- –legend L E G E N D ：曲线图的图例标签。 {LEGEND}：曲线图的图例标签。 LEGEND：曲线图的图例标签。{LEGEND}是一个字符串，用于设置曲线图的图例标签。
- –backend B A C K E N D ：绘图库的后端。 {BACKEND}：绘图库的后端。 BACKEND：绘图库的后端。{BACKEND}是一个字符串，用于指定绘图库的后端，例如matplotlib或plotly。
- –style S T Y L E ：曲线图的样式。 {STYLE}：曲线图的样式。 STYLE：曲线图的样式。{STYLE}是一个字符串，用于设置曲线图的样式，例如线条颜色、线型等。
- –out O U T F I L E ：输出文件路径。 {OUT_FILE}：输出文件路径。 OUTFILE：输出文件路径。{OUT_FILE}是一个字符串，用于设置曲线图的输出文件路径。
样例
（1）绘制分类损失曲线图
python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls --legend loss_cls --out out_path
（2）绘制分类损失、回归损失曲线图，保存图片为对应的 pdf 文件
python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls loss_bbox --legend loss_cls loss_bbox --out losses.pdf
注：–keys 这里的参数可以替换成log.json中的数据参数。
（3）在相同图像中比较两次运行结果的 bbox mAP
python tools/analysis_tools/analyze_logs.py plot_curve log1.json log2.json --keys bbox_mAP --legend run1 run2
注：注意json文件中bbox_mAP的名字,有可能是0_bbox_mAP等…
（4）计算平均训练速度
python tools/analysis_tools/analyze_logs.py cal_train_time log.json
python tools/analysis_tools/analyze_logs.py cal_train_time log.json --include-outliers
注：这里–include-outliers的作用是指定在计算训练迭代的平均时间时是否包含异常值。
结果分析
使用 tools/analysis_tools/analyze_results.py 可计算每个图像 mAP，随后根据真实标注框与预测框的比较结果，展示或保存最高与最低 top-k 得分的预测图像。
python tools/analysis_tools/analyze_results.py \
${CONFIG} \
${PREDICTION_PATH} \
${SHOW_DIR} \
[--show] \
[--wait-time ${WAIT_TIME}] \
[--topk ${TOPK}] \
[--show-score-thr ${SHOW_SCORE_THR}] \
[--cfg-options ${CFG_OPTIONS}]
参数解释
- config: model config 文件的路径。
- prediction_path: 使用 tools/test.py 输出的 pickle 格式结果文件。
- show_dir: 绘制真实标注框与预测框的图像存放目录。
- –show：决定是否展示绘制 box 后的图片，默认值为 False。
- –wait-time: show 时间的间隔，若为 0 表示持续显示。
- –topk: 根据最高或最低 topk 概率排序保存的图片数量，若不指定，默认设置为 20。
- –show-score-thr: 能够展示的概率阈值，默认为 0。
- –cfg-options: 如果指定，可根据指定键值对覆盖更新配置文件的对应选项。
注：这里要使用的是test.py 输出的 pickle 格式结果文件。
test.py获取pickle 格式样例
python tools/test.py example_faster_rcnn_export.py latest.pth --eval bbox --out out.pkl
python tools/test.py example_faster_rcnn_export.py latest.pth --out out.pkl
注：可以选择评估方式 --eval ，对于 COCO 数据集，可选 bbox 、segm、proposal ；对于 VOC 数据集，可选 map、recall也可以选择 --out ，指定测试结果的 pkl 输出文件。
注：可以根据上面 --out 保存的结果 pkl 文件计算指标，而无需重新跑。
python tools/analysis_tools/eval_metric.py example_faster_rcnn_export.py out.pkl --eval bbox
tools/analysis_tools/analyze_results.py可以将模型的预测结果框画出来进行可视化，其中第二个参数是上面 --out 保存的结果 pkl 文件，第三个是参数是结果保存到的目录，可以通过 --show-score-thr 来指定可视化框的阈值。
样例
（1）计算每个图像 mAP，随后根据真实标注框与预测框的比较结果，展示或保存最高与最低 top-k 得分的预测图像
python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --show
（2）测试 Faster R-CNN 并指定 top-k 参数为 50，保存结果图片
python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --topk 50
（3）滤低概率的预测结果，指定 show-score-thr 参数
python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --show-score-thr 0.3
可视化数据集
使用方法
python tools/analysis_tools/browse_dataset.py ${CONFIG} [-h] [--skip-type ${SKIP_TYPE[SKIP_TYPE...]}] [--output-dir ${OUTPUT_DIR}] [--not-show] [--show-interval ${SHOW_INTERVAL}]
样例
python tools/misc/browse_dataset.py example_faster_rcnn_export.py --output-dir out/
误差分析
＞首先使用以下命令得到 bbox 或 segmentation 的 json 格式文件。
python tools/test.py --format-only --eval-options "jsonfile_prefix=out/out_resul"
样例
（1）得到每一类的 COCO bbox 误差结果，并保存分析结果图像至指定目录
python tools/analysis_tools/coco_error_analysis.py results.bbox.json out/ --ann=via_export_coco_int.json
混淆矩阵
＞混淆矩阵是对检测结果的概览。 tools/analysis_tools/confusion_matrix.py 可对预测结果进行分析，绘制成混淆矩阵表。 首先，运行 tools/test.py 保存 .pkl 预测结果，之后再运行。
使用方法
python tools/analysis_tools/confusion_matrix.py ${CONFIG} ${DETECTION_RESULTS} ${SAVE_DIR} --show
样例
python tools/analysis_tools/confusion_matrix.py example_faster_rcnn_export.py faster_rcnn_fpn_coco.pkl --output-dir out/
打印全部 config
＞tools/misc/print_config.py 可将所有配置继承关系展开，完全打印相应的配置文件。
使用方法
python tools/misc/print_config.py ${CONFIG} [-h] [--options ${OPTIONS [OPTIONS...]}]
样例
python tools/misc/print_config.py example_faster_rcnn.py