NeurIPS审稿引发吐槽大会，落选者把荒唐意见怼了个遍：“我谢谢你们了”

鱼羊 栗子 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

七月份的尾巴，机器学习顶会NeurIPS 2019的初步结果已经来了。
一年一度的吐槽盛会也由此开始。 “有评审问我啥是ResNet。” “有评审问我为啥没引用X论文。我不止引用了，还专门描述了一段和X的关系。” “我看到了14000605种未来，没有一种能中NeurIPS。”
吐槽之余，许多小伙伴还是开始准备Rebuttal了。
虽然，多数Rebuttal没什么用，但依然有位同学给出了一份高赞模板，把Rebuttal和吐槽活动完美结合，热情问候了各位审稿人。 大家可尽情欣赏，并谨慎借鉴：

引热议的Rebuttal

在Reddit上，初步被拒的@SoFarFromHome表示：

我们感谢每位审稿人细致的评论，有些真的是看过文章才来评价的呢。

之后，就开始了全面扫射，嘲讽了论文的每一位审稿人的几乎每条评论，引发了网友的热议。量子位节选了这个Rebuttal如下：

有位审稿人问我们为啥没有引用X。我们想说的是，已经引用了，还花了一整段来描述我们的研究和它的关系。 有位审稿人举出了个数据集，让我们用它评估模型。我们想说的是，已经用这个数据集评估过了，看实验章节。 …… 有位审稿人指出，我们的方法在假设3不成立的时候就不work。是啊，说得对啊。所以我们才把它列成假设了啊。恭喜您的阅读理解啊。 有位审稿人直接把我们的Intro，复制到“这篇论文的3个贡献”一栏里了。我们一定会在后续修改的时候，加上一个“分数10 置信度5”，能复制的那种，让您打分更方便。 …… 有位审稿人用了一半篇幅来论证，我们这个子领域就是愚蠢的错误的。我谢谢ta跨越学术界线，来为一个让ta深深痛苦的领域写评论。

就没有一条好评么？不不不，有许多，这位同学继续写道：

审稿人们还给出了这样的评价： “原创 (Original) ，积极 (Well-Motivated) ，值得研究 (Worthy of Study) 。” “这篇论文读起来很享受。” “这是一个有趣的问题，当然值得研究。” “这篇论文找到了一个重要的问题……并给出了简单的解决方法。” 感谢你们都标了拒稿 (Reject) 。 由于所有打分都在3-5之间，不管是你们还是领域主席 (AC) ，都不会读下这篇回应，也不会考虑重新打分。 我只不过希望今后，你们写的那些原创的、积极的、有趣的、清晰的论文，也能得到同等的待遇。

既然从分数上看，几乎没给Rebuttal留什么空间； 那么，用机枪一般的吐槽，排一排闷在心里的暑气，大概也是个好办法。 当然，一定也有许多小伙伴，需要认真准备Rebuttal，抓住最后的机会。 据说，隔壁ICCV放榜喜大普奔，且Rebuttal好好写了就真的有人能看到。 所以，需要鼓励的人类，可以前往这问题： 如何评价 ICCV 2019 的论文接收结果？有哪些亮点论文？
https://www.zhihu.com/question/336194144/answer/758560475

What is系列

在上一个被疯狂吐槽的顶会IJCAI里，有这样一个审稿意见成为了坊间传说：

What is Softmax？

在NeurIPS 2019的审稿意见中，“What is”家族再次壮大，有知乎网友表示，审稿人是这样问自己的：

What is ResNet？

啊，这可真是个好问题啊，简直令人窒息。 这位网友的遭遇并不罕见，还有人遇到了这样的灵魂一击：

What is Distillation?

在SoftMax被点名的时候，谁能想到它还有这么多兄弟？ 不过也有网友指出，这么问不一定是审稿人不知道这些概念，他们很可能是在提醒你引用/解释不到位。毕竟做好工作很重要，但也不能忽视论文写作本身。 这其实也是一个提醒，文章introduction要写好，引用也要规范哟。 顺便问一句，就没有人碰上满意的评审么？ 其实也是有的，比如：

NeurIPS到底有多玄学

对于学术界来说，会议审稿和接收程序的逻辑一直备受关注。 毕竟，论文能不能中顶会，对研究人员的职业生涯来说还是非常重要的。 那么NeurIPS的审核过程到底说不说的上是玄学呢？ 早在2014年，德州大学奥斯汀分校的助理教授Eric Price就做了个实验，结果发现NIPS的录取模型比想象中更随意。 在这个实验中，Eric和他的胖友Jacob Abernethy讨论出了一个“噪声得分”模型，大概是这样的： 每篇论文通常会有3个review，评分为0-10。所以在模型里，每篇论文都会有一个从某个分布中得出真实得分v（比如N（0，σ_between^2），和从N（0，σ_within^2）中提取的review。 根据NIPS的审稿规则，录用结果就是σ_between^2 / σ_within^2的函数。 如果σ_within^2介于1到4倍的σ_between^2之间，那么结果就是这样： 无独有偶，KDD 2019（知识发现与数据挖掘国际会议）的Research Track中有一篇论文也关注到了审核流程中随机性的问题：https://arxiv.org/abs/1905.11924 论文中不中，有时候可能真的是玄学。评审不专业，评审自己也很绝望啊，要怪只能怪论文匹配算法不够机智吧。

One More Thing

每一次投稿顶会都是一场奇妙的冒险，可能会遇到千奇百怪的review，也可能在观点的碰撞中有所收获。 MXNet创始人李沐大神曾经在文章中写道：

之后想了想，一篇好文章自然需要有足够多的“干货”，或者说信息量， 但一篇能被接受的文章需要满足下面这个公式： 文章的信息量 / 文章的易读性 < 审稿人水平 * 审稿人花的时间 对于机器学习会议，因为投稿量大，所以审稿人很多自然平均水平就会下降。而且很多审稿人就花半个小时到一个小时来读文章，所以公式右边数值通常是很小，而且不是我们能控制。”

之前，NeurIPS 2019投稿平台就被挤爆，投稿数量达到了6809篇，与2018年相比增长40%。五月底截稿，七八月就要给出结果，审稿人也是鸭梨山大啊。 所以，吐槽归吐槽，坚持自己的工作，拿出更多的干货，才是以不变应万变之道吧。 参考资料： NIPS实验：
http://blog.mrtz.org/2014/12/15/the-nips-experiment.html 李沐《博士这五年》
https://zhuanlan.zhihu.com/p/25099638 Reddit高赞Rebuttal模板：
https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/ 如何评价 NeurIPS 2019 的审稿情况？
https://www.zhihu.com/question/322139752/answer/761895242

推荐阅读

为了给小女友挑合适罩杯的内衣，我用  Python 爬了淘宝内衣店的数据！

2019 年 Python 开发者调查报告（JetBrains版）

超全！深度学习在计算机视觉领域的应用一览
都All in AI啦，应该自己学会补全 Python 代码了！
收藏！！BAT 程序员们常用的开发工具

喜欢就点击“在看”吧！