VisDA比赛规则

multi-source domain adaptation

数据集

        在 multi-source domain adaptation challenge中，我们可以使用Infograph, Quickdraw, 和Real 作为训练集，Sketch作为验证集，Clipart 和 Painting将作为测试集。 验证集不可以加入训练集进行训练。

Semi-supervised domain adaptation

数据集(这里以validation phase为例)

源域数据：Real

目标域：Sketch

        源域数据全部带有标签（real_all.txt），目标域少部分带有标签（sketch_labeled.txt），大部分为无标签数据（sketch_unl.txt+sketch_val.txt）,sketch_val.txt其实有标签，但是仅用于测试模型性能，在validation phase需要提交sketch_unl.txt中的图片预测结果。另外不确定在测试阶段验证集能不能使用。

评价模型

        将通过计算每个类别的分类准确度，然后计算所有类别（即已知和未知）的平均准确度来评估提交。 CodaLab上的排行榜将显示所有这些分数，官方排名将取决于所有类别的平均分类准确度。

        提交结果参考image_list.txt。

        服务器使用的评估脚本（eval.py），以便您可以离线评估结果。

提交到评估服务器

        生成“source_results.txt”和“adaptation_results.txt”。

        将这些文件放入名为[team_name] _submission的zip文件中。

        按照以下说明提交给CodaLab评估服务器。

        要将压缩的结果文件提交到相应的VisDA挑战，请单击“Participate”选项卡。选择阶段（validation or testing）。选择“Submit / View Results”，填写必填字段，然后单击“Submit”。弹出窗口将提示您选择要上载的结果zip文件。上载文件后，评估服务器将开始处理。这可能需要一些时间。要查看提交的状态，请选择“Refresh Status”。如果您提交的状态为“Failed”，请检查您的文件是否正确命名并且格式正确。您可以参考评分输出和错误日志以获取更多详细信息。

注意

1. 验证集每天可以上传20条，总上传次数不受限制；测试集每天仅能上传一次，一共可以上传20次。

2. 验证集不可以加入训练集进行训练，可以使用ImageNet数据集进行预训练，不允许使用其他数据集。

3. 需要提交两个结果，第一个是只用源域进行训练，作为baseline；第二个是采用域迁移模型。

4. 其他问题可参考VisDA19官网和github网址。