挑战弱监督学习的三大热门问题 AutoWSL2019挑战赛正式开赛

AutoWSL2019作为11月17-19日亚洲机器学习大会（ACML）主会议竞赛单元之一，由第四范式、ChaLearn、RIKEN和微软联合举办，其中竞赛分享和颁奖将与大会WSL-Workshop共同举办。据悉，AutoWSL是继AutoCV、AutoCV2、AutoNLP、AutoSpeech之后的第5届自动深度学习（AutoDL）挑战赛，比赛已于9月24日正式开始。本次挑战赛聚焦于弱监督学习相关任务的自动化解决方案，参赛者需要设计自动机器学习程序完成半监督学习、正例及未标记学习和噪声标记学习三个热门方向任务，解决不同应用领域的二分类问题。

竞赛官网：https://www.4paradigm.com/competition/autowsl2019

现代机器学习正在向复杂模型（如深度神经网络）的时代迁移，而复杂模型需要大量的优质标注数据。大公司有足够的资源来收集优质的标注数据，然而对于初创公司或非营利组织来说，标记数据的高昂成本只能让他们望而却步。此外，在特定领域的数据存在自然稀缺性（如阿尔茨海默病或地震预测等），优质的标注数据可能根本不存在。弱监督学习（WSL）方法试图通过访问比监督学习更少的标注信息，来达到监督学习相近的效果目标。正因为WSL不需要大量的标注数据，促使大家对弱监督学习进行研究和关注，以期望让更多的用户和企业享受低门槛的机器学习红利。但传统的弱监督学习方法有太多的超参数需要根据问题进行调整，需要付出众多人力才能成功部署弱监督学习方法，而我们希望召集来自全球各地的优秀参赛者一起通过自动化解决方法破解这一难题，降低弱监督学习方法的使用门槛。

本次赛事主要负责人、第四范式主任科学家涂威威表示：第四范式接触到的现实业务中有非常多的弱监督学习场景，有效的自动弱监督学习方法对于规模化解决这些场景中的机器学习问题至关重要。第四范式联合南京大学提出了自动半监督学习（AutoSSL）以及自动正例及未标记学习（AutoPU）等方法。但是相关的研究才刚刚起步，举办本次比赛也是希望吸引更多优秀的研究人员和从业人员关注到自动化弱监督学习的问题，一起推动这个领域的技术进步，从而帮助更多的行业利用机器学习技术提升效益。

关于比赛

本次比赛是国际首届自动弱监督学习竞赛，旨在为与弱监督学习相关的任务提供自动化的解决方案，挑战任务仅限于来自不同应用领域的二分类问题。大会为参赛者提供3个练习数据集，用于开发自动弱监督学习程序。随后，该程序将在无人工干预的情况下在18个私有验证数据集上进行反馈测试，选手可以通过验证数据集上的反馈结果调整程序；最后在18个私有测试数据集上进行测试评估，测试结果将决定最终的竞赛排名。

在AutoWSL竞赛中，我们将重点关注弱监督学习中的三个热门任务，即半监督学习（有些样本是未标记的）、正例及未标记学习（样本只有正例或未标记，没有负例）和从噪声标记中学习（所有样本都有标记，但有些标记可能是错误的）。这三个任务互不关联，不会同时出现在同一个数据集中。另外，组委会提供辅助信息帮助参赛者确定他们需要在每个数据集上执行的任务。

赛事挑战

AutoWSL将对参赛者提出新的挑战，如下所列:

-如何自动处理各种弱监督学习任务？

-如何为不同的任务自动提取有用的特征？

-如何自动处理不同数量的监督信息？

-如何自动设计有效的学习模型来处理各种结构化数据？

此外，参赛者还应考虑:

-如何自动和有效地选择适当的超参数？

-如何提高解决方案通用性？即如何保证解决其在未知任务中的适用性？

-如何控制计算和内存成本？

平台介绍

参赛者须登入我们的竞赛平台开始挑战，请依照平台「开始挑战」中的指示，以获得数据、了解数据格式及提交界面，并下载Starting Kit。

本次比赛准备了总共39个分类数据集，参赛者首先下载三个可以下载的练习数据集，以便他们可以离线开发他们的自动弱监督解决方案。此外，另外18个验证数据集也提供给参与者，以评估其解决方案的公共排行榜分数。之后，他们的解决方案将在没有人工干预的情况下用18个私有测试数据集盲测评估。

数据集

这一挑战仅限于来自不同应用领域的二分类问题，竞赛将重点关注WSL中的三个热门任务，即半监督学习（部分样本未标记）、正例及未标记学习（样本只有正例或未标记样本，没有负例）和从噪声标签中学习（所有样本都有标记，但部分标签可能是错误的），这三个不相交的任务不会同时出现在单个数据集中。

竞赛规则

这项挑战分为三个阶段。首先，参赛者将获得可以下载的练习数据集，以便可以离线开发他们的AutoWSL程序；然后进入反馈阶段，参赛者将AutoWSL代码上传到竞赛平台上，程序将在18个验证数据集中测试，并得到其方法性能的即时反馈。反馈阶段结束后，竞赛进入检查阶段，参与者只允许在私有数据集上提交一次代码以进行调试，该阶段参赛者无法读取阅读详细的日志，但可以查看代码是否报告错误。最后进入最终阶段，参赛者提交的程序将在18个私有测试数据集上进行评估。最终阶段的排名将决定获胜者。

提交的程序代码是自动训练和测试的，无需任何人工干预。在反馈阶段提交的代码在所有18个反馈数据集上并行地运行在单独的计算机上，每个数据集都有测试时间限制。

平台上用于测试的数据集的所有信息将被隐藏，数据将以原始形式提供（没有特征提取），以鼓励研究人员进行自动特征学习，所有问题都是二分类问题，任务完成受时间限制。

有关提交和评估的更多详细信息，请访问平台。

点击了解更详细比赛规则。

赛事时间：

北京时间（UTC+8）

2019年9月24日23:59:反馈阶段开始，练习数据集的发布。参赛者可以开始提交代码并在排行榜中获得即时反馈。

2019年10月22日23:59:参赛者真实身份验证。

2019年10月29日23:59:反馈阶段结束。

2019年10月30日00:00:检查阶段开始。

2019年11月2日19:59:检查阶段结束。

2019年11月2日20:00:最终阶段开始。

2019年11月4日20:00:重新提交截止日期。

2019年11月6日20:00:最终阶段结束。

请注意，CODALAB平台使用UTC时间格式，请注意比赛官网其他地方的时间说明，以免错过比赛各阶段的时间点。

赛事奖励：

第一名:$2000

第二名:$1500

第三名:$500

关于AutoML

- First AutoML Challenge

- AutoML@PAKDD2018

- AutoML@NeurIPS2018

- AutoML@PAKDD2019

- AutoML@KDDCUP2019

- AutoCV@IJCNN2019

- AutoCV2@ECML PKDD2019

- AutoNLP@WAIC2019

- AutoSpeech@ACML 2019