让 AI 释放科研系统的 7 宗罪之一？出版业正在试行 AI 同行评审员，但做决定的仍是人类

姓名：马行健

学号：16020199036

转载自：https://zhuanlan.zhihu.com/p/50876232

【嵌牛鼻子】：AI代替人工？

【嵌牛导读】：2016 年美国数字媒体公司 Vox Media 旗下新闻网站 Vox 发表了一篇调查了 270 名科学家，归纳出科研系统需要解决的 7 宗罪，其中一个就是同行评审，现在人工智能或许可以帮忙解决这个问题，改善流程，节省审稿人的时间。Nature 一篇最新文章报道，已经有一些学术出版商正在试行 AI 工具，从选择评论者、检查统计数据、到总结论文的发现。

【嵌牛原文】：2016 年美国数字媒体公司 Vox Media 旗下新闻网站 Vox 发表了一篇调查了 270 名科学家，归纳出科研系统需要解决的 7 宗罪，其中一个就是同行评审，现在人工智能或许可以帮忙解决这个问题，改善流程，节省审稿人的时间。Nature 一篇最新文章报道，已经有一些学术出版商正在试行 AI 工具，从选择评论者、检查统计数据、到总结论文的发现。

同行评审的目的是在出版前剔除掉低质量的论文，但这个制度难以避免存在问题，比如相当耗时，有些审稿人的评审过程不够仔细，导致错误、有缺陷的论文被出版，以及编辑和审稿人知道作者是谁，作者却不知道编辑和审稿人是谁，在这审稿过程中是否会有倾向性等争议。而要怎么弥补同行评审的不足，行业内也提出一些方式，像是提高透明度、建立工作组的协作同行评审等，人工智能搭配人类做裁决，则是一种新作法。

阿姆斯特丹出版业巨头 Elsevier 的同行评审管理系统 Aries Systems，在今年 6 月采用了名为 StatReviewer 软件，该软件会检查手稿中的统计数据和方法是否合理。此外，许多期刊使用的同行评审平台 ScholarOne，正在与丹麦的论文及专利在线搜索平台 UNSILO 合作，UNSILO 利用自然语言处理（NLP）和机器学习（ML）来分析手稿，通过语义分析自动提出关键概念、总结论文内容。

UNSILO 开发的初版工具 是从 PubMed Central 学术数据库抓取信息，PubMed Central 可以将新手稿与 170 万份已发布的生物医学研究论文的全文进行比较，为了继续扩大信息量，UNSILO 表示，后续很快会增加超过 2000 万份 PubMed Central 的论文，同时也与知名的信息数据分析机构科睿唯安（Clarivate Analytics）旗下的 ScholarOne 合作。

另外，UNSILO 也会提出哪些关键短语最能代表论点或研究发现，并会标示出这些主张是否与以前发表过的论文类似，让编辑更快了解研究结果。UNSILO 销售总监 Neil Christensen 认为，使用语义分析来提取文本的主要陈述，此法通常会比作者提交关键字更能清楚地概述论文，但也强调，此工具并不会做出决定，只是告诉人类在比较此篇手稿和已发布的论文时有哪些突出之处，评审还是人类。

AI 能是人类编辑、审稿人的助手吗？

“它不会取代编辑的判断，但可以让事情变得更容易些”，一家英国出版商的顾问 David Worlock 在德国法兰克福书展上看到了 UNSILO 示范后，给出了这番评语，但是他同时提出一个值得思考的问题——AI 潜在的陷阱，机器学习工具是根据先前已发表的论文来进行训练，这样的决策系统可能会加强同行评审中的现有偏见问题。

目前看来，不太相信 AI 的不只 David Worlock 一人，在英国 eLife 期刊领导创新部门的 Giuliano Maciocci 表示，在想要解决同行评审这个令人头疼的问题中，UNSILO 提出了有趣的方法，但并不是 eLife 会考虑采用的方案。“我们并不完全相信它在 eLife 这样的期刊背景下特别有用，因为专家思想非常重要，”他说。

另外，一家被科睿唯安收购、使用机器学习开发同行评审追踪工具的初创公司 Publons 联合创始人 Andrew Preston 则直言，算法还没聪明到可以让人类编辑就根据 AI 提出的信息判断要接受或拒绝一篇论文，“这些工具可以确保稿件符合要求，但绝不会取代审稿人在评估方面所做的工作，”他说。

让 AI 尝试作为同行评审员的意义在于节省审稿人的时间，由机器做例行性的工作，概念类似于商业环境中的机器人流程自动化（Robotic Process Automation，RPA），在 AI 的应用领域，比起面部识别、自动驾驶等，RPA 或自动化文件处理不是一个听起来很性感的领域，但其实商业潜力不小，除了上述的论文检视、同行评审之外，监管科技（Regtech）更是热门议题，简单来说，RPA 就是通过自动化软件来取代需要大量人力的例行性、高重复性的工作，在金融、法律等领域都有一些实际的落地案例。数日前，日本软体银行旗下的软银愿景基金就投资了 RPA 初创公司 Automation Anywhere 3 亿美元。

今年 3 月一家来自以色列、专攻合约审查领域的 AI 初创公司 LawGeex 与斯坦福大学、杜克大学法学院和南加州大学的法学教授合作一项研究，让 20 名有经验的律师与经过训练的法律 AI 程序挑战，在 4 小时内审查 5 项保密协议（NDA），并确定 30 个法律问题，包括仲裁、赔偿等，结果人类律师平均正确率为 85%，AI 则拿下了 94％ 的正确率达，而且 AI 只在 26 秒内完成任务，人类律师平均需要 92 分钟。

但律师不会失业，就像论文审查的决定权力仍在人类审稿人手上，AI 带来的是改善或加速流程的进行，并抓出人类必须投入大量心力才能抓到的错误，训练有素的 AI 可以在专门、特定的领域达到很好的表现，AI 与专业人士的协同合作，将是未来不可逆的趋势。

图片发自App

图片发自App