Multi-Instance Learning 和 Latent SVM



MIL和weakly supervised learning有扯不清的关系（有点虾和蛋的关系）。

Pedro的Latent SVM算是MILSVM的一个变种，相当于在MIL上加上技巧就可以实现Latent SVM，既然是技巧，就是没有大的理论突破。

那仔细看下它们的公式

1. basic linear SVM

这是个convex-problem，可以用lagrangian function来表述，PRML ch7中有讲，不赘述。

2.MIL SVM

约束条件发生了变化，从多个候选正样本集（不一定都是正样本）中自动找到最像正样本（max）的样本进行训练，从负样本集中找离分界面最近的样本作为训练负样本。因此可以认为MIL以最大化样本集间隔作为优化目标，这就是一个迭代优化问题。详见论文吧，也不赘述。

3.Latent SVM

看看pedro自己怎么说的吧：

“To train models using partially labeled data we use a  latent variable formulation of MI-SVM [3] that we call  latent SVM (LSVM).   ”

人家自己都这么说了，咱也不说啥了，直接上公式吧

这是一个semi-convexity problem，可以用coordinate descent来求解该问题

initial Beta

 

step1：Relabel postive example

 

step2：Optimize beta

 

upto convergence

详细看pedro PRMI上的论文吧，这里不赘述。

三者的区别从公式角度简洁的列一下，感觉MIL和weakly supervised learning是个大坑，可以乘不少水。再列点资源吧：

(1) MIL的论文参考：

S. Andrews, I. Tsochantaridis, and T. Hofmann, “Support vector machines for multiple-instance learning,” in  Advances in NeuralInformation Processing Systems, 2003.

作者主页上有文章和实验数据下载

(2) MIL工具包

MILL: A Multi-Instance Learning Library

http://www.cs.cmu.edu/~juny/MILL/