【论文阅读】Multiple instance classification: Review, taxonomy

【论文阅读】Multiple instance classification: Review, taxonomy

时间：2022/09/13

@article{AMORES201381,
title = {Multiple instance classification: Review, taxonomy and comparative study},
journal = {Artificial Intelligence},
volume = {201},
pages = {81-105},
year = {2013},
issn = {0004-3702},
doi = {https://doi.org/10.1016/j.artint.2013.06.003},
url = {https://www.sciencedirect.com/science/article/pii/S0004370213000581},
author = {Jaume Amores},
keywords = {Multi-instance learning, Codebook, Bag-of-Words},
abstract = {Multiple Instance Learning (MIL) has become an important topic in the pattern recognition community, and many solutions to this problem have been proposed until now. Despite this fact, there is a lack of comparative studies that shed light into the characteristics and behavior of the different methods. In this work we provide such an analysis focused on the classification task (i.e., leaving out other learning tasks such as regression). In order to perform our study, we implemented fourteen methods grouped into three different families. We analyze the performance of the approaches across a variety of well-known databases, and we also study their behavior in synthetic scenarios in order to highlight their characteristics. As a result of this analysis, we conclude that methods that extract global bag-level information show a clearly superior performance in general. In this sense, the analysis permits us to understand why some types of methods are more successful than others, and it permits us to establish guidelines in the design of new MIL methods.}
}

主要工作

1. 分析了14种方法在各种知名数据库中的性能，还研究了它们在合成场景中的行为，以便突出它们的特征。通过这一分析，我们得出结论，提取全局包级信息的方法总体上表现出明显优越的性能。

2. 我们首次描述了基于词汇表的范式。这种范式与其他范式的主要区别在于，在基于词汇表的范式中，实例被分类或区分为几个类，而在其他范式中则没有这种区分。

3. 介绍了Simple mi算法

符号系统

符号	含义
$X=\{x_1,x_2...x_N\}$	包
$x$	实例
N	包大小
$F(X)$	包级分类函数
$f(x)$	实例级分类函数

主要内容

（一）两种假设

1. 多示例标准假设：对于一个多示例包来说，只要该包中含有一个正实例，便标记为正包，没有任何正实例的包则为负包。

2. 集体假设：像对于图像分类问题中，对海滩进行识别。则一张图像中既需要有海水，有需要有沙子。这时的正对象并不是单个实例，而是由两个实例共同组成。如若图片中只有海水（海洋图像）或者只有沙子（沙漠图像）都是不符合我们的期望的。

（二）三种范式

1.Instance-Space (IS) paradigm(实例级范式)

• 在实例空间(is)范式中，鉴别信息被认为位于实例级。

• 主要过程：训练判别实例级分类器f (x)，将阳性包中的实例与阴性包中的实例分离，而包级的分类器F(X)通过聚合实例级分类器f(x)的分类结果来实现对包标签的预测。

• 这种类型的模式是基于本地实例级的信息,在某种意义上,学习过程考虑单个实例的特点,没有看更多的全球整个包的特征。

2.Bag-Space (BS) paradigm（包级范式）

• 区分信息被认为位于包级

• 在这个范例中，每个袋子X被视为一个整体，学习过程在整个包之间进行区分。结果，它得到一个判别包级分类器F (X)，它利用来自整个包X的信息，以便对X的类做出判别决定。我们说这种范式是基于整体的包级信息，因为判别决定是通过查看整个包来做出的，而不是聚合局部实例级的决定。

• 包空间是非向量空间，BS方法利用了非向量学习技术。通过距离函数D(X, Y)的定义来工作的，它提供了一种比较任意两个非向量实体X和Y的方法。除此之外，BS还可以使用像SVM中的核方法来完成

3.Embedded-Space (ES) paradigm（嵌入空间范式）

• 每个包X被映射到一个单独的特征向量，该特征向量总结了整个包X的相关信息。

• 原始的包空间被映射到一个矢量嵌入空间，在其中学习判别分类器。

• 通过嵌入方法将多示例数据转换成单示例数据，使得可以适用于任何标准的分类器。

• ES范式也是基于整个包级信息，通过嵌入，将原来的包转化成一个特征向量，这个向量便总结了整个包的信息。则包级的分类器可以表述为F(X)=G(v)。

• ES和BS都是基于全局的包级信息，他们的区别便是对包级信息的采集方式。BS是通过核函数和距离函数进行隐式的提取，而ES是直接通过定义映射函数显式的进行信息提取，将包映射成特征向量。

（三）Simple-mi

正如其名，简单的多示例算法，其思想也是十分的简单。Simple-mi算法是属于嵌入方法一类的。其主要内容便是通过对多示例包中的实例进行求平均值操作：

$$M（X）=\frac{1}{|X|}\sum _{x\in X}\chi$$

通过这种方法相当于使用包的中心距来代表整个包，对于正包和负包而言，因为标签不同所以其中心距也不同。故而可以通过这种方法进行包的映射。通过这个映射方法将所有包转化成特征向量，之后便可使用传统的单实例分类器进行分类。

缺点：这种方法只能适用于包中实例数量不是很大的情况，因为其基础是建立在正实例与负实例的差异上，但是对于多示例包而言，包中的正实例往往是少数的，而负实例常常是占绝大部分的。按照统计学而言，当样本数据的数量趋于无穷大时，样本均值则会趋近于总体的均值。这将导致正包和负包的差异趋于无穷小，使得分类器分类更加困难，分类器的性能将不断下降。

故而，正如其名，简单的多示例算法，思想是简单的，但适用的问题也是简单的。而这篇文章其实是一篇综述文章，说实话，这篇文章非常适合多示例学习的入门学习。