我有一个顶会idea还没做实验，NeurIPS：先占坑再实验！
作者 | 青 暮
相信大家对费马大定理都不陌生，x^n +y^n=z^n。一个简单无比的方程式却是难到几百年后才被数学家解决。而这其中最令人着迷的，当属费马当年在手稿留下的一句话：我这里有一个绝妙的证明，可惜这里写不下了……
一晃到了2020年，如今我有了一个顶会idea，可惜还没来得及做实验……
这可怎么办呢？
别急！NeurIPS 2020推行论文发表新机制了。
最新消息，NeurIPS2020提出尝试机器学习论文的新型发表和同行评审模式，即预注册。
预注册简而言之，就是将提出idea的过程和实验结果确认分为两个阶段。在研究人员进行实验之前，先把研究idea提交给NeurIPS，然后由评审决定该idea是否可行，通过的idea视为预注册成功，然后研究人员可以着手进行实验，无论实验是失败还是成功，结果都将发表在NeurIPS2020的一个研讨会中。
Yoshua Bengio是该研讨会的发言人之一，此外还包括FAIR负责人Joelle Pineau、INRIA研究员Francis Bach和来自布朗大学的Jessica Forde。
研究idea提交的截止日期是2020年10月7日，而实验的截止日期是2021年4月。NeurIPS2020已定于2020年12月6日至12月12日举行，这意味着届时参加这个研讨会的学者可能都还没完成实验。
对于提出这项尝试的初衷，NeurIPS表示：
在过去几年中，机器学习取得了巨大进步，其中基准数据集发挥了关键作用。但是，论文评审可能会倾向于将基准的增量改进放在优先位置，从而妨碍了其他类型研究课题的进步，甚至将好的idea扼杀在婴儿期。论文计划书是根据科学兴趣进行评估的，而不是是否达到SOTA。
在预注册流程中，审稿人会对未着手实验的研究idea进行评审，评审的重点在于实验计划是否可以充分证明或否定一个（或多个）假设。实验方案可能会导致出现负面结果，但负面结果也会被接收并发表。
NeurIPS表示，发表负面结果也是有好处的，可以避免学者重复失败的实验。最终，论文（计划书和实验结果）将在研讨会上发布，并发表在PMLR上（可选，PMLR是JMLR的姊妹期刊）。
NeurIPS还指出，预注册可以让研究人员的计划研究变得更容易，即在进行冗长繁复的实验之前得到有益的反馈，并提高结果的信誉度。最重要的是，这项尝试将试图说服人们，即使结果是负面的，我们也能从中学到一些东西。
1
负面结果也是好结果
“我对此有一个疑问。如果两个小组提出了非常相似的idea怎么办？审稿人会只接受其中一个idea还是同时接受两个idea？如果只有一个，他们将如何选择？”
在Reddit上，一位网友massinelaarning提出了这样尖锐的疑问，对此，网友often_worried回答：
有道理，建议作者在描述实验方案时要特别注意，实验的设计必须确保能证实或证否假设。通过这种方式，实际结果的重要性将大大降低，从而负面结果也能带来积极意义。
然后，审稿人将评估计划的各个方面，不仅涉及idea本身，还涉及计划的实验方案。论文计划书将被独立审查，因此，如果有研究者提出了两个相似的idea，则根据上述原则，它们都可以被接受（或拒绝）。
也就是说，实验方案的质量也是一大评估指标，同时，让两个研究团队采用不同的方案攻克一个问题，并得出多样的结果（无论正面或负面），也不是坏事。发表负面结果还能避免cherry picking带来幸存者偏差的影响。
除了一片赞誉声，也有不少网友从偏见、剽窃、研究视角方面表示了自己的担忧。
网友afranius认为这可能会带来反作用：
科学家们已经对这个问题探索了很长时间，idea撞车或无价值的问题比论文审核问题严重得多。在某种意义上，对于传统论文，只有尝试过才能判断其质量。至于预注册模式，研究人员必须以他人认同的方式来描述一个idea，这可能会带来巨大的偏见，并且遏制创新工作。
审稿人也不是上帝，网友MLApprentice讽刺道：
当研究人员提出idea时，审稿人：“这个idea是胡说八道，不会起作用。”
实验成功后，同一个审稿人：“这个idea很明显可行，该领域的任何人都会赞同。”
网友yield22也认为存在偏见问题，基于机器学习研究的不可解释性现象，用idea的同行评审鼓励新研究可能不是个好办法。
我认为正确的方法是对审稿人和程序主席进行教育，而不是鼓励人们发表没有任何成果的论文（就像很多人在80年代所做的那样）。在机器学习领域，许多想法都是基于实验结果而不是idea才能大放异彩。没有实验结果，我担心审稿人的意见会更加主观。例如，人们可能会在数学上将“跳过连接”（ResNet的主要思想）视为微不足道的idea，直到看到实验结果。
但是，这实际上也只是个尝试，并没有全面推行和强制执行。如今的机器学习正遭遇瓶颈，陷入依赖算力、鲁棒性差、不可解释的漩涡。或许放开视角，从机器学习理论或认知神经科学的角度重新出发也不失为一个好方法。
近期，论文《A critical analysis of metrics used for measuring progress in artificial intelligence》就指出，在自然语言处理领域存在有缺陷的指标被滥用（例如BLEU分数），好的指标被忽视（例如MCC、FM）的现象，追求SOTA的意义已经受到质疑。
图注：在自然语言处理的论文中，最常报告的指标是BLEU分数
麻省理工学院的研究人员近期进行了一项“深度学习算力”的研究。研究人员分析了Arxiv以及其他包含基准测试来源的1058篇论文。论文领域包括图像分类、目标检测、问答、命名实体识别和机器翻译等。
得出的结论是：AI模型今年来的进步取决于算力的大幅提高，具体来说，计算能力提高10倍相当于三年的算法改进。AI算法对算力的依赖，以及一大部分AI研究的调参本质几乎已经是共识。
图注：模型指标的线性增长和计算代价的指数增长相关。
近期，戴琼海院士则在CCAI2020的演讲报告中指出：
我们以前通过核磁共振、CT等技术来观测大脑。目前我们还无法精细到神经元级别的观测，只能从功能层面理解大脑，但这些成果也启发了很多经典的人工智能算法，例如卷积神经网络启发自猫脑视觉感受野研究，胶囊网络启发自脑皮层微柱结构研究。在未来，我们能不能深入到神经元的层面研究大脑，是非常重要的一步。总之，利用脑观测成果启发人工智能理论应该还大有可为。
综上来看，从idea的创新性出发做机器学习研究还有很大的探索空间。
对于网友yield22的观点，网友brainggear回应道：
如果没有实验，某些想法（例如跳过连接）可能无法令人信服地提出。然而，如果作者为跳过连接提供某种理论上的可行性证明，则该假设更有可能被接受。
我不认为所有机器学习研究都需要预注册，社区应该在传统和预注册两个方向上努力。
有网友表示这可能会导致idea被剽窃，打击研究人员的创新积极性。这个担心是有道理的，对于审稿人的声誉要求很高。但是要知道，这个研讨会有图灵奖得主Yoshua Bengio坐镇呢。
最后，有网友认为预注册可能限制研究视角。但实际上，预注册仅要求研究人员清楚整个研究过程。如果遇到偶然发现，也可以写入最终论文中。我们需要清楚，科学发现都带有偶然性。
2
早已有之
网友regalalorithm则指出，这种尝试在心理学领域早已有之，并已成为惯例。
在网友regalalorithm提到的这篇报道中指出，预注册可以通过两种方式改进研究。首先，预注册是使用数据测试假设，与使用数据生成假设的探索研究之间有明显的区别。将探索性结果误用于验证性测试会导致对报告结果可复现性的置信度错误。
其次，预注册可以减少发表偏差对效果估计的影响。期刊偏向于发表具有统计学意义影响的投稿，这种偏见往往会增加已发表文献中对影响的估计。如果将预注册信息发布到可搜索的注册信息中，则更可能发现有关某个主题的所有研究，而不仅仅是发现已发表的研究。
许多期刊都已经认可发表预注册研究的论文。结果是，心理学家们以空前的、越来越快的速度预注册研究，其中很大一部分是由APS的期刊推动的。
通过各种措施，在心理学领域，累积预注册总数激增。从2012年的38个预注册到2017年的12,000多个预注册，预注册数量每年都在增加一倍，如下图所示。
而且，心理学不是唯一采用预注册的社区。
《自然·人类行为》在2017年发表文章表示采用了研究预注册，将重点从研究结果转移到指导研究的问题和回答问题的方法。
非盈利组织开放科学中心（Center for Open Science）指出，参与预注册研究的期刊的数量正在缓慢增加，该中心旗下有一系列鼓励提交注册报告的期刊。
值得一提的是，ICCV2019也尝试过预注册研讨会，其中《An empirical study of the relation between network architecture and complexity》获得了研讨会的最佳论文。
3
重要信息和日期
这次NeurIPS2020预注册研讨会的审查周期包括两个阶段：论文计划书和实验论文。
论文计划书
计划书教程、论文模板：http://preregister.science/author-kit/tutorial.pdf
匿名将论文计划书提交给CMT：https://cmt3.research.microsoft.com/User/Login?ReturnUrl=%2FNeurIPSWorkshopPrereg2020
与传统论文不同的是，实验部分只需要包含对实验和方案的描述，并且在不同结果下得出哪些结论，而无需实验结果。预注册建议使用模板，建议计划书长度为4页，最多允许5页（参考文献除外）。
本次研讨会的论文计划书提交不会被视为重复提交，提交截止日期为10月7日。
除了idea的质量和潜在影响之外，审稿人还将评估：（1）实验是否适合验证工作的核心假设？（2）实验方案说明是否足以允许复现实验？
对于审稿人的评估，论文计划书作者将有一个反驳期（最晚至10月27日），可以撰写（最多）单页来回复审稿人。
最终决定将于10月30日前发送给作者。
在研讨会当天（12月11日或12日，线上），计划书被接收的作者将报告他们的计划和初步结果（可选）。
实验论文
作者执行在其接受的建议书中提出的实验方案。
结果将发表实验论文中，实验论文和论文计划书将整合为完整的文件。实验论文的提交截止日期为2021年4月（暂定）。
然后，NeurIPS将支持并鼓励最终结果发表在PMLR上（暂定）。
NeurIPS表示，可能还将在2021年4月底组织第二次线上会议，讨论实验结果和经验教训。
参考链接：
https://www.reddit.com/r/MachineLearning/comments/imew49/news_neurips2020_the_preregistration_experiment/
https://en.wikipedia.org/wiki/Preregistration_(science)
