[主动学习--查询策略] 01 Core-set

符号定义

• 主动学习每一次迭代选择的样本数量为一个 budget
• 训练集中初始无标签数据集记为 unlabeled data，\(\bm{u}_0\)
• 训练集中初始有标签数据集记为 initial labeled data，\(\bm{s}_0\)

查询策略：Core-set

主动学习每一轮将选择 budget 个样本，core-set 方法将这个过程视为寻找一个当前最佳集合的问题，顺序从 unlabeled data 中选出 budget 个样本加入集合 \(\bm{s}\)，新加入的点 \(u\) 需要满足与集合 \(\bm{s}\) 的距离最大。

一个无标记样本点 \(u\) 与集合 \(\bm{s}\) 的距离为：该点 \(u\) 与集合 \(\bm{s}\) 各个点距离的最小值，论文中距离采用 L2-norm。

注意：同一次迭代选出的无标记样本点有先后之分，计算点 \(u\) 与集合 \(\bm{s}\) 的距离时，同一次迭代已经选出的无标记样本点都看作加入了集合 \(\bm{s}\)，参与距离计算。

算法详情

Algorithm 2 用 Gurobi 进行 MIP（mixed integer program）优化，对于大规模数据容易内存溢出，且运行较慢。Algorithm 1 比 Algorithm 2 简单，速度很快，但论文中效果稍微不如后者。

实现代码

GitHub - ozansener/active_learning_coreset (Source code)
GitHub - google/active-learning/sampling_methods/kcenter_greedy.py
GitHub - dsgissin/DiscriminativeActiveLearning/query_methods.py

提出论文：

Sener, O., & Savarese, S. (2018). Active Learning for Convolutional Neural Networks: A Core-Set Approach. In ICLR (pp. 1–13). Retrieved from http://arxiv.org/abs/1708.00489

被引论文：

[1] Yoo, D., & Kweon, I. S. (2019). Learning Loss for Active Learning. CVPR, 93–102. Retrieved from http://arxiv.org/abs/1905.03677
[2] Sinha, S., Ebrahimi, S., & Darrell, T. (2019). Variational Adversarial Active Learning. ICCV. Retrieved from http://arxiv.org/abs/1904.00370