MoBYv2AL :结合 BOYL 和 MoCo 的主动学习算法

出品人:Towhee 技术团队 王翔宇、顾梦佳

主动学习(AL),即查询学习,旨在从大量未标记的数据中抽取信息最丰富、最多样化的有效示例来查询它们的标签。然而当模型学习到的特征较为局限时,主动学习的整体选择也会受到影响,并累积偏差导致性能降低。为了解决这些问题,一种用于图像分类的新型自监督主动学习框架 MoBYv2AL 将最成功的自监督学习算法之一 MoBY 应用到主动学习中。该策略添加了目标函数来感知下游任务,并结合对比损失对其进行优化。此外,它还通过标记新示例获得了数据分布选择函数。实验结果表明 MoBYv2AL 在图像分类任务中成功获得了最先进的结果,同时证明了其鲁棒性。

MoBYv2AL :结合 BOYL 和 MoCo 的主动学习算法_第1张图片

SSL-AL training framework under the proposed MoBYv2AL configuration.

MoBYv2AL 选择了基于特征的算法,能够从数据集中选择最多样化的示例。查询特征编码器扮演了两种角色:将图像特征匹配到任务分辨器用于分类、通过查询和键的不对称性捕获对比视觉表示模块。对于无标签数据,对比损失和其指数移动平均线(EMA)会进行反向传播。当有标注数据时,模型会在训练中使用交叉熵损失。一旦训练结束,无标签样本通过学习器进行主动学习的选择。

相关资料:
代码地址:https://github.com/razvancara...
论文链接:MoBYv2AL: Self-supervised Active Learning for Image Classification

你可能感兴趣的:(机器学习)