ICLR2020放榜 687篇入选34篇得满分！且看OpenReview数据图文详解

深度学习的顶级会议ICLR 2020将于明年4月26日于埃塞俄比亚首都亚的斯亚贝巴举行。

近日，ICLR 2020放榜，最终2594篇论文中共有687篇被接收，其中48篇orals，108篇spotlights，531篇poster。录取率为26.5%，相比去年的31.4%略有下降。

据统计，约有320篇被接收论文中有华人学者参与，占比47%。

→ICLR 2020官方评审页面

从官方发布的博文可知，今年的审稿过程与去年基本保持不变，但进行了两项调整：大会组委会不允许在评审期间进行公开评论，以使作者和审稿人对讨论的要点有清晰的认知，并且留有一周进行替换和紧急评审。

此外，为了帮助审稿人做出更清晰的决策，今年的评分系统也做了简化，组委会取消了中性评分的选项：只保留“reject（拒绝）、weak reject（弱拒绝）、 weak accept（弱接受） 、accept（接受）”四个选项。

通过将评分分配给上述四项评分选项，以产生平均分数。由于各种原因，分数是不对称分布的，分别为1、3、6和8。对于接收的论文，组委会担心审稿人不愿意给出10分，实际对于作者来说可能希望论文被接收，但并不意味着它应该得到10分。此外，3分到6分之间的较大差距使得弱拒绝和弱接受之间得以有更大区分，以提供更多的建议从而避免“中立”。尽管这些做法有些不典型，但得出的平均值对于最终指导决策还是有意义的。

对于ICLR来说，随着每年提交论文数量的显著增长，导致建立具有丰富经验的大型审稿人库的任务日益艰巨。今年总共有119位AC和2200位审稿人参与了审稿工作，虽然审稿人数没有委员会最初预期的规模那么大，也使得评审人的负担超出了预期，但最终接收论文的质量都很高。

此外，ICLR2020也拒绝了少数论文（不到20篇），因为它们违反了“双重提交政策”。同时也撤回了大量论文，比如与其他会议截止日期临近和重叠，或与其他会议如ACL的“匿名政策”不相符的论文。

一、详解OpenReview数据

ICLR 2020论文入选结果公布后，来自南加利福尼亚大学计算机专业的博士生小哥哥Sun Shao-Hua对此次提交的论文数据进行了详细分析。此外，他也有一篇论文被接收为spotlight论文。

→该OpenReview数据上传页面

1.论文评分

从ICLR2020论文评分的直方图可见，审稿人的评分分布集中在4分左右（平均为4.1822分）。其中得4分的有367篇；得5分的有266篇；得8分的有34篇。

①一篇评分为6-8-8的论文被拒了：《Ted: A Pretrained Unsupervised Summarization Model With Theme Modeling And Denoising》；

②而一篇评分为1-3-3的论文竟被接收：《Efficient Probabilistic Logic Reasoning with Graph Neural Networks》；

③得分为3-6-8的论文中有62%被接收；

④得分为3-6-6篇论文中只有27.8%被接收。

审稿人评分的累积总和见下图：

2.ICLR 2020关键字

下图是由投稿关键词生成的词云图，突出了深度学习、强化学习、表示学习、生成模型、图形神经网络等热点话题。

TOP50关键字词其频率见下图：

根据审稿人的平均评分和关键词的频率表明，如果想要增加你得高分的几率可以多使用关键字，比如深入学习或梯度下降等。

3.审稿长度

ICLR 2020平均评审长度为407.91字。直方图如下：

 

4.反驳期间审稿人评分发生了变化

所有人的评分变化见下图：

每篇论文的平均评分变化见下图：

5.满分论文

在ICLR2020上出现了34篇满分论文，其中有不少来自清华、上海交大、哈工大、西安电子科大等国内高校以及华为、字节跳动等国内企业的论文作者。

平均得分为8分的论文：

 

 

二、审稿引争议

ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun牵头创办。众所周知，Yoshua Bengio主管着蒙特利尔大学人工智能实验室，也就是 MILA，它是世界上最大的人工智能研究中心之一。Yann LeCun是 Facebook 人工智能研究院的院长，被称为卷积神经网络之父。

虽然ICLR成立仅六年，但它已被学术研究者们广泛认可，被认为是“深度学习的顶级会议”。ICLR 采用Open Review 评审制度。根据规定，所有提交的论文都会公开姓名等信息，并且接受所有同行的评价及提问（open peer review），任何学者都可或匿名或实名地评价论文。而在公开评审结束后，论文作者也能够对论文进行调整和修改。

ICLR 2020的审稿早前受到了诸多吐槽与争议。比如，南大周志华教授曝出：ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文；再比如，一篇ICLR 2020的论文在拿到完美的满分评价后，其他的两位审稿人又连续给了2个1分评价，还有的论文三位审稿人均给出了6-6-6的高分，但AC却做出了不适用自己论文的评语，这些都引发了激烈的讨论。

放榜之后总是有人欢喜有人忧。总之，恭喜入选的同学！你的论文有入选吗？

---

作者| 学术君

排版| 学术青

校对| 小满 子璇

责编| 学术青 优学术

---

往期回顾：

THE、QS等四大世界大学排名对比 计算机专业究竟哪家强？

图灵奖得主Geoffrey Hinton最新研究NASA：一种更好地学习三维模型动作的方法

【NeurIPS100】谷歌、Facebook、斯坦福等十篇机器学习最新论文解读