盲审不到4分的论文竟中了ICLR 2019？？！！ICLR 2019官方这样回应

↑ 点击上方【计算机视觉联盟】关注我们

论文：《Encoding Category Trees Into Word-Embeddings Using Geometric Approach》，匿名评审结果：4，4，3（满分10分），三位评审全都给出了 rejection 的决定。然而，领域主席对这篇论文给出了 Accept (Poster) 的决定……

这样的神操作，我们来观摩一下盲审意见：

01

匿名评审 1：4 分，拒绝

这篇论文提供了很好的几何学视角，但这并不是什么新颖的想法，并且也没有充足的量化实验评估。

注意！！！你们提交的论文中有包含作者信息的 GitHub（就在摘要里）和 Google Drive 链接（论文第四部分结尾）。我认为这是不被允许或不符合标准的。我决定以论文提交违规为由「自动拒绝」，并将此决定提交给论文的 meta-reviewer。

02

匿名评审 2：4 分，拒绝

任务有趣但评估薄弱，主要以定性分析为主。

这篇论文动机不太清楚，实验结果主要是定性的（及主观的），而且论文可读性很差，提出的方法贡献不明。

03

匿名评审 3：3 分，明确拒绝

本文的不足之处在于，缺乏与其他著名研究的实验对比。相关研究介绍不足。没有表述清楚为什么 N-ball 嵌入适用于分层结构。

从以上评审意见可以看出，三位评审对该论文评价不高，指出其缺乏创新性、严谨性以及基本的论文写作技巧。

但领域主席却给出截然不同的结果：

领域主席：接收为 Poster 论文

本文作者提出了一种非常有趣的方法，可以将分层信息融合到现有的词向量中。这对同时需要知识库信息和文本共现数的诸多任务都有帮助。尽管评审者指出了本文的一些缺点，但我认为这或许是将符号信息/集合/logic/KBs 与神经网络连接起来的关键一环，因此我建议接收本文。

ICLR 双盲评审制度

ICLR 自 2013 年举办以来，经历了从 open review 到双盲评审的转变。自 2018 年 ICLR 开始实行双盲评审制度之后，争议仍然存在，比如 ICLR 2019 评审阶段评论区疑似有水军出没等，且允许作者在 arXiv 等平台发布论文的做法使双盲形同虚设。而同样实行双盲评审制度的 ACL 大会规定投递论文在一定期限内不得上传到开放平台。

随着人工智能、机器学习的火热，各大学术会议收到的投递论文数量暴涨，论文评审引起了社区的广泛关注。同行评审制度实施过程中出现的问题引起了极大重视，学术会议也逐渐寻求从制度层面上解决同行评审中的一些问题。比如，近期 KDD 2019 的征稿通知中就明确表示：今年会议采取双盲评审制度，论文接收结果公布之前投稿者不得将论文发布于 arXiv 等开放性平台上。而且只有在论文中公开研究代码和数据的论文才有资格竞选最佳论文奖。

ICLR 2019 大会官方回复了这一事件：优先遵从AC意见！！！

 1

我们说明一下评审过程中的内部信息。rebuttal and discussion period 持续了 3 周，期间我们通过电子邮件与大约 80 位领域主席讨论 ICLR 2019 的论文接收决定。这些讨论旨在确保论文接收与否的决定能够真正基于领域专家的意见。

 2

就本案例而言，作为该领域公认专家的领域主席（AC）认为这项研究被严重低估了，因此为其做出了辩护。理想情况下，领域主席应该与审稿人进行充分讨论；但这里，讨论没有得到充分进行。

 3

鉴于审稿人人数众多、水平各异，因此在领域主席认为有必要进行干预时，我们将采用遵从领域主席意见的方式。大多数情况下，这会让讨论更充分且最终能达成共识。不过这里我们看到了私下讨论的一个失败案例。

 4

就文章匿名问题，我们务实地决定不直接将没有匿名的论文自动拒绝，而是在被举报时让作者尽早修改。从本案例来看，这种机制显然存在问题；但据我们所知，本案例中没有证据表明 AC 受此影响。

对待此次ICLR2019事件你是如何看待呢？你是否接受这样的回应呢？

声明：本文来源于网络

如有侵权，联系删除

热文荐读

2018年12月精选文章目录一览

亲身经历2019年校招8个大厂心得体会，纯干货分享（大疆、百度...）

重磅！图森王乃岩团队最新工作—TridentNet：处理目标检测中尺度变化新思路
GANs最新综述论文: 生成式对抗网络及其变种如何有用【附pdf下载】
算法岗百里挑一热爆了，全球AI大厂薪酬大起底
史上最全！计算机科学领域顶会最佳论文大合集：微软研究院最多，清华排24MIT的周博磊博士如何解释深度学习模型（附PPT)
【资源下载】512页IBM沃森研究员Charu最新2018著作《神经网络与深度学习》（附下载链接）
人工智能相关领域的国际顶尖会议介绍