论文无法复现！真公开处刑！PapersWithCode上线「论文复现报告」
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
本文转载自：机器之心 | 编辑：杜伟
近日，机器学习资源网站 PapersWithCode 上线了一项新功能，对于其举办的论文复现挑战赛 RC2020 中提交的一些论文，它们将提供详细的复现报告。这是 ML 社区重视「研究论文可复现性」的新信号。
现在，越来越多的机器学习（ML）研究者选择在论文发表时同步公开自己的代码，像 arXiv 这样的论文预印本平台也选择与机器学习资源网站 Papers with Code 合作，支持研究者在 arXiv 页面上添加代码链接。ICML、ICLR、NeurIPS 等一些顶会也要求投稿人在提交论文的时候附上代码，以供审稿人测试，确保其研究结果的可复现性。
但这一切仍然不代表论文复现变得容易了。前段时间，Reddit 用户「ContributionSecure14」在花费长时间复现一篇论文失败后，产生了专门列出无法复现论文清单的想法。他创建了一个名为「Papers Without Code」的 ML 研究反馈平台，专门挂出那些大家都无法复现的论文研究。
如果提交内容有效，则 Papers Without Code 方面将与该论文原作者联系，并要求其澄清或公布实现细节。论文成功复现后，可以在 PapersWithCode 或 GitHub 上发布，供其他研究人员参考。如果作者未及时答复，该论文将被添加到「不可复现的机器学习论文列表」中，公开处刑。
目前，该网站上挂出了 19 篇论文，详细列出了标题、链接、提交原因以及解决与否，可以看到有 8 篇论文显示「已被解决」。
但应看到，该网站创建数月以来，也仅仅提交了 19 篇论文，对于提升机器学习社区可复现方面远远不够。
近日，ML 领域著名的论文和代码资源网站 PapersWithCode 终于向「有代码也复现不了」这一老大难问题下手了，宣布其上线了新功能：论文可以链接到复现报告了！这是 ML 社区重视研究论文可复现性的新信号。
PapersWithCode：论文终于有复现报告了
PapersWithCode 以 ICML 2020 论文《Training Binary Neural Networks using the Bayesian Learning Rule》为例展示「论文复现报告」这项新功能。可以看到，PapersWithCode 在论文下方提供了复现报告，包括提交日期和报告摘要。
大家或者注意到了这份复现报告的提交者为「RC 2020」，这是 PapersWithCode 组织的一项 ML 顶会论文复现挑战赛。这项赛事的目的是鼓励可靠且可复现研究成果的发表和分享，ML 社区的成员可以选择顶会接收的论文来尝试复现。
所有的复现报告都将通过 OpenReview 进行同行评审，并显示在 PapersWithCode 网站原始论文的下方。在每年的复现挑战赛中，一批在「洞见性、正确性、逻辑清晰」等方面表现优秀的论文会发表在 ReScience C 期刊上。
与其他传统科学期刊截然不同，ReScience C 可以说是一个 GitHub 项目，提供了关于计算研究的每个新实现以及评审、解释和测试。PapersWithCode 的示例论文《Training Binary Neural Networks using the Bayesian Learning Rule》就发表在了该期刊上。目前，OpenReview 列出了所有在 RC 2020 挑战赛中被 ReScience C 接收的论文列表。
论文列表地址：https://openreview.net/group?id=ML_Reproducibility_Challenge/2020
用户现在可以在 PapersWithCode 和 ReScience 上查看所有 RC2020 挑战赛中的论文复现报告。
PapersWithCode 复现报告地址：https://paperswithcode.com/conference/rc-2020
ReScience 复现报告地址：http://rescience.github.io/read/#volume-7-2021
不过，目前提供复现报告的论文覆盖面还很小。PapersWithCode 的共同创建者 Robert Stojnic 表示：「目前只有经过 OpenReview 同行评审且被 ReScience 接收的论文才能提供复现报告。」
希望未来 PapersWithCode 可以提供其网站上所有提交论文的复现报告。
从顶会到个人，复现努力一直进行
可复现性是科学领域长期关注的话题，更是机器学习社区的重点关注问题。为了解决论文可复现难题，从顶会到个人一直都在努力。
NeurIPS 组委会从 2019 年起就鼓励论文作者提交代码（非强制），目前成效显著。在 NeurIPS 2019 的最后提交阶段，有 75% 的被接收论文附带了代码。随后，NeuIPS 将代码提交从「鼓励」变成了「强烈建议」（仍不强制），还提供了提交代码的准则和模板。
2020 年底，机器学习资源网站 Papers with Code 宣布与论文预印本平台 arXiv 进行合作，论文作者在 arXiv 上上传论文时可以同步上传官方和社区代码。
此外，AAAI Fellow、加拿大计算机科学家 Joelle Pineau 教授创建了「机器学习可复现性调查表」，这个清单为如何使其他研究人员清楚并重现机器学习论文的描述、代码和数据提供了明确的指导原则。
网站地址：https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
这些措施有助于解决论文可复现性问题，并进一步促进开放性科学研究的发展。
参考链接：https://paperswithcode.com/rc2020
CVPR和Transformer资料下载
后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF
CVer-Transformer交流群成立
扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲长按加小助手微信，进交流群▲点击上方卡片，关注CVer公众号
整理不易，请给CVer点赞和在看