论文阅读：Salient Object Detection: A Benchmark

论文阅读：Salient Object Detection: A Benchmark

南开大学的显著性检测benchmark 链接：http://mmcheng.net/zh/salobjbenchmark/ 链接里还有其提供的C++代码的GitHub链接。
概述
本benchmark一共整理了28 个salient object detection显著性检测算法, 10个注视点预测1个 objectness(目标候选区生成)和一个baseline—平均标注图（Average Annotation Map） 显著性检测算法主要有基于人眼注视点的预测 和 计算机视觉驱动的确定显著目标或区域模型两种方法，作者认为，一个显著性检测模型应该：检测出吸引人注意力的目标，分割出完整的目标。显著性检测已经应用在目标检测与识别，图像和视频压缩的，视频摘要，照片的校对/媒体重定向/剪切/缩略图，图像质量评价，图像分割，基于内容的图像检索和图像采集浏览，图像编辑和操纵，视觉跟踪，对象发现，人机交互等领域。 本文主要研究的问题：以前的模型是真的有进步呢还是仅仅的对数据集（过）拟合了？优秀的老模型在新的数据集上是否有好效果？ 使用了MSRA10K, ECSSD, THUR15K,JuddDB ,DUT-OMRON,and,SED2 6个数据集，挑选数据库的时候，主要是基于以下几个原因的考虑，被广泛的应用，含有大量图像，具有不同的偏好{例如，显著性目标的个数，图像杂波(复杂度，主要看超像素的个数)，中心偏差}，和可能作为未来研究的benchmark

评价一个算法的方法有：

一、召回率和精度：
对于一个显著图S，转换成二值图mask M,人工标定图ground-truth G Precision=|M⋂G||M| P r e c i s i o n = | M ⋂ G | | M |
Recall=|M⋂G||G| R e c a l l = | M ⋂ G | | G |
其中，Salient map二值化的方法有三种：
第一种：自适应阈值二值化：
2W×H∑Wx=1∑Hy=1S(x,y) 2 W × H ∑ x = 1 W ∑ y = 1 H S ( x , y )
第二种方法是用0-255每个像素都做阈值，记录下精度-召回率（PR）曲线或者。最后使用PR曲线或者ROC曲线评价模型
第三种方法是SaliencyCut algorithm 这种方法往往有好的召回率却只有低的精度。SaliencyCut是MingMingChen论文里的一种类似GrabCut的分割算法。

二、F测度 越大越好
F测度同时考虑了召回率和精度
Fβ=(1+β2)Precision×Recallβ2Precision+Recall F β = ( 1 + β 2 ) P r e c i s i o n × R e c a l l β 2 P r e c i s i o n + R e c a l l
β2 β 2 在文中设置为0.3，更加注重精度
三、ROC曲线
真正率和虚警率的曲线，通过改变二值化的阈值T来得到
TPR=|M⋂G||G| T P R = | M ⋂ G | | G |
FPR=|M⋂G¯||G¯| F P R = | M ⋂ G ¯ | | G ¯ |
四、AUC分数
Area under ROC，也就是ROC曲线下的面积，好的模型AUC趋向1,随机猜测的auc是0.5
五、Mean absolute error (MAE) score 平均绝对误差。越小越好
为了更综合地比较，不仅仅考虑overlap和二值图，而应该考虑预测的前景、背景的saliency值。
MAE=2W×H∑Wx=1∑Hy=1|S¯(x,y)−G¯(x,y)| M A E = 2 W × H ∑ x = 1 W ∑ y = 1 H | S ¯ ( x , y ) − G ¯ ( x , y ) |

各个算法的优劣性：
对于PR曲线和ROC曲线上，DRFI算法在6个benchmark上都大大的优胜于其他的模型，同时，RBD, DSR 和MC的效果相近，且轻微的优胜于其他模型。对于F测度，五个最好的模型是：DRFI，MC，RBD，DSR，GMR；DRFI在5个数据集上优胜于其他模型。MC在2个数据集中排第二和两个数据集中排第三。SR和SIM表现最差。
对于AUC值，DRFI在六个数据集上再次排名最好。紧跟着DRFI，DSR在4个数据集中排第二。RBD在一个数据集居第二和2个数据集中排第三。PCA在1个数据集AUC值上排名第三的，然而采用F测度时，它并不在前三中。IT，LC，和SR性能最差。值得一提的是，所有的模型在六个benchmark数据集都比随机猜测（AUC = 0.5）的结果好。
采用MAE测度，模型排名比F或AUC得分更加多样化。DSR、DRFI和RBD排列前茅，但没有一个在JuddDB数据集排前三。MC模型虽然在F测度和AUC中表现良好，在MAE测度上在任何数据集都没有排到前三。PCA在JuddDB上最好在其他数据集上比较差。SIM和SVO模型表现最差。基于区域的方法，例如，RC，HS，DRFI、BMR、CB、DSR，与其他基于像素和基于块的模型相比，总是能较好的保存对象的边界。