论文作者串通抱团、威胁审稿人，ACM Fellow炮轰「同行评审」作弊

来源：机器之心

编辑：陈萍、杜伟

布朗大学计算机科学系教授、机器学习研究者、2018 年 ACM Fellow 迈克尔 · 利特曼（Michael L. Littman）在 ACM 通讯上发文斥责「部分学者正在威胁计算机科学研究的诚实性」。他在文章中指出了同行评审中可能普遍存在却无人注意到的学术道德乱象：论文作者串通一气，不择手段使自己的论文被接收。

简单来说，几位作者将各自的论文提交至顶会，相互告知论文标题，故意违反盲审规则，造成重大未披露的利益冲突。接着，他们努力成为这些论文的审稿人，并给出正面的评审意见，甚至在其他审稿人不知情的情况下游说领域主席。更过分的是，如果其他审稿人可能会影响到论文评审结果，他们会发送威胁性电子邮件。这也太可怕了，研究者为了使自己的论文被接收，竟然做到了这种地步。

Michael 教授虽未明确点名哪些会议、期刊或者哪些学者采用了这些方法，但指出了这种现象普遍存在，并且已经威胁到了学术研究的公平性和诚实性。

图左：Michael L. Littman。

Michael L. Littman 的观点获得了众多其他学者的赞同。奥地利林茨大学计算机科学系网络与安全研究所负责人、谷歌安卓平台安全主管 René Mayrhofer 表示：「很多研究文化都以诚实为准则，所以同行评审中论文作者的抱团现象令人不安。一想到我们要在积极对抗（actively adversarial setting）的环境中做研究，就感到不寒而栗。」

全栈数据科学家、机器学习工程师 Dr. T 则被学术界的抱团现象深深地震惊到了。

AI 爆火，顶会论文接收难上加难

一直以来，计算机科学学科充分且高效地利用同行评审会议论文，并将同行评审作为传播具有时效性和影响力的研究成果的重要机制。但近来，学术界试图「玩弄」评审制度的做法将破坏这种机制，并且不利于研究成果的高效分享。

Michael 教授想要提醒社区的是，一种日益严重的学术道德乱象——论文作者串通一气，正一步步蚕食计算机科学所依仗的的同行评审制度。更有甚者，造成的影响已经远远超出了计算机科学领域。

首先来看评审过程具有的几个显著特征，它们并不是某一学术会议所特有，但 Michael 教授曾参与组织的三至四个会议都具备这些特征：

• 同行评审过程中通常会设有一个程序委员会，由一至两名程序主席、数百名领域主席以及数千名审稿人组成。评审过程中要求审稿人说明是否有利益冲突情况，力求论文审核的公正性；

• 作者提交其论文时会被要求隐去姓名，俗称「盲审」；

• 审稿人对提交论文的标题和摘要进行评估，判断是否符合自身评审要求。若符合，则进行投标（bid）。以近年来的 ACL 会议为例，审稿人投标过程中会对论文给出 yes/no/maybe 的选择；

• 审稿人审核哪篇文章则由程序主席决定，在分配论文时，他们会充分尊重审稿人的投标结果并尽量避免出现公开的利益冲突；

• 审稿人审阅分配给自己的论文并提交评审意见，并可以与「共同负责」某篇论文的其他审稿人分享各自的看法，并就接受或者拒绝论文达成一致。领域主席和程序主席也会根据评审意见做出规划。

一般来说，顶级学术会议的接收率在 15%–25% 之间，并且一篇论文在某个会议上发表的机会只有一次，所以论文被拒的概率还是非常高的。论文被接收往往能够提高研究者的声誉，对他们的职业生涯发展也有影响。学术地位的竞争也非常激烈，特别是对于研究生而言，论文被拒会对未来的职业前景造成影响。此外，在一些国家，学术会议和期刊上发表论文的数量往往与学者的职位晋升和薪资调整挂钩。

在种种压力下，研究者尽可能地把自己的工作做到最好。通常，会议截止日期前的一两个星期压力异常大，计算机满负荷运行，睡眠时间也很少。即便如此，投入再多也似乎并不足以保证成功，因为评审过程充满了随机性。2014 年的 NIPS 大会（现已更名为 NeurIPS）将会议评审分组成了两个独立的评审委员会，并让他们负责审查 10% 提交的论文。结果是，一个程序委员会接受的论文中有近 60% 被另一个程序委员会拒绝。

这表明许多论文的命运由审稿人掌握，论文本身的价值并不足以保证其被接收。为了提高论文被接收的几率，多数研究者选择更努力地创新和充实论文内容，但不可避免地，也有一些学者则选择投机取巧，甚至作弊。

重压之下，论文作者选择串通抱团

Michael 教授在文章中揭露了自己知道的一种作弊方式：论文作者串通起来。他表示：「虽然还没有公开披露细节，但调查人长时间的详细调查和分析，让我没有理由怀疑他得出的结论。」

以下是具体的作弊步骤

• 几位作者提前串通好，将论文提交至顶会；

• 共享彼此论文的标题，故意违反盲审原则，造成重大的未披露的利益冲突；

• 隐瞒利益冲突，投标审核这些论文，努力成为这些论文的审稿人；

• 对这些论文做出非常正面的评论，甚至在其他审稿人不知情的情况下，通过秘密渠道游说领域主席；

• 如果审核到了这些论文，但是其他审稿人可能会影响结果，所以有时会发送威胁电子邮件给这些审稿人；

• 在讨论论文过程中，临时在网上会议管理系统上改名，这或许是为了避免因支持质量较差的论文而影响自身名声。

如果这种行径没有被发现并且成功了，其结果就是一些作者会通过非常不道德的行为使论文被顶会接收。鉴于许多会议限制论文接收数量，这就意味着很多质量高的论文被拒绝。因此，会议的含金量以及整个社区的诚信会受到影响。

学术界必须对这些行为做出强有力的回应，向行为不端的论文作者和审稿人发出一个明确的信息：他们的所作所为是不可接受的。然而，除了警告他们之外，目前还没有更有效的干预措施来打击作弊者。

顶会组织者正在权衡数十项提案，但这些提案都存在一些缺陷。更好的论文分配技术将有助于弥补正在被利用的漏洞。但是，如果没有更好的调查工具，我们可能永远也无法追究这些人的责任。

目前，同行评审过程主要还是由「诚实」的参与者组成。但是，一旦不道德的行为非常普遍，「诚实」的同行评审过程将会崩溃。作弊者冒着破坏其职业成功所依赖的系统的风险。现在是时候仔细研究同行评审过程并调整激励措施了，以便每个人都能共享最佳的研究成果。

参考链接：

https://github.com/ymcui/ACL2020-PC-Blogs-Chinese/blob/master/post/5-conflict-of-interest.zh.md

https://cacm.acm.org/magazines/2021/6/252840-collusion-rings-threaten-the-integrity-of-computer-science-research/fulltext

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”