组建有效的人类-AI团队（2023+Forming Effective Human-AI Teams: Building Machine Learning Models that Complemen）

摘要：

机器学习(ML)模型越来越多地用于经常涉及与人类专家一起工作的应用领域。在这种情况下，当机器学习模型难以预测某些实例时，将其推迟给单个人类专家可能是有利的。虽然以前的工作主要集中在一个不同的人类专家的场景，但在许多现实世界的情况下，可能会有几个具有不同能力的人类专家。在这项工作中，我们提出了一种训练分类模型以补充多个人类专家能力的方法。通过与分配系统共同训练分类器，分类器学会准确预测人类专家难以预测的实例，而分配系统则学会将每个实例传递给最合适的团队成员——分类器或人类专家。我们在与“合成”专家的公共数据集和由多位放射科医生注释的真实医学数据集上的多个实验中评估了我们提出的方法。我们的方法优于之前的工作，比最好的人类专家或分类器更准确。此外，它可以灵活地适应不同规模的团队和不同水平的专家多样性。