读论文笔记：Unsupervised Joint Object Discovery and Segmentation in Internet Images

Michael Rubinstein and Armand Joulin and Johannes Kopf and Ce Liu, Unsupervised Joint Object Discovery and Segmentation in Internet Images, 2013IEEE Conf. on Computer Vision and Pattern Recognition (CVPR2013).

第一作者工作单位为MIT 计算机科学和人工智能实验室和微软研究院，项目主页见链接，主页上提供了测试数据库和评价Matlab 代码，暂时没有算法实现代码。

 本篇论文主要针对之前的联合分割方法（Co-segmentation）要求分割图像中必须包含目标，对于搜索引擎得到的包含噪声图像（即不含目标的图像）的数据集无法有效分割的问题进行深入研究，提出了新的解决方法。本方法假设条件：（a）目标在单张图像中的显著性高（Salient），（b）目标特征在不同图像中能够平滑过渡（sparse， i.e. similar to pixels (features) in other images with respect to smooth transformations between the images）。

显著性计算：本文采用的清华大学胡事民团队CVPR2011 年RC的方法，当然也不限定此方法，可以用别的显著性方法替代；

像素匹配：采用PAMI 2011的论文Sift flow进行特征匹配；为了匹配更准确，本文中对Sift flow做了小的改进，将之前的L1范式改为L2范式。对于大数据集两两匹配计算量太大，本文采用 Gist descriptor进行全局相似度计算，挑选出全局相似度高的前K张图像进行Sift flow匹配。

经过匹配以后，建立基于MRF的graph 模型

其中一元项为基于显著性的代价和基于匹配的代价以及基于颜色的代价的加权和；二元项分两部分，第一部分为图像内的代价值，即当前像素与相邻像素标号不一致时的相似度值，如果一致，代价为0；第二部分为图像间匹配像素标号不一致时的代价。

优化：本文轮流优化图像间的匹配W和前景掩码B，采用坐标下降法（Coordinate Descent），即先固定一张图像，然后计算其它图像。在计算过程中采用类似grab cut迭代思想，更新掩码B和颜色直方图h（不是GMM）。

本论文的特点：

1. 可以处理包含噪声图像的数据集，将噪声图像完全标记成背景，克服了以往联合分割算法对于数据集中每张图像必须包含目标的假设；

2. 为解决包含噪声图像的联合分割提供了新的框架；

3. 本算法关键一步在于Sift flow匹配，匹配是否准确对结果至关重要；

不足之处：

1. 两个假设条件，特别是第一个显著性要求不能很好的控制，对结果有很大的影响；

2. 采用Sift flow进行匹配，计算量大，对于变形较大的目标无法正确匹配，从而造成分割错误；

4. 从作者网站给出的实验结果来看，分割结果包含大量的噪声，分割精度有待提高；

3. 噪声图像包含相似的颜色特征，不知道本算法是否有效？