好文章也是要色香味俱全的！——CVPR2010最有趣文章

转自 Dahua Lin’s blog

URL：http://dahuasky.spaces.live.com/blog/cns!1AB3BC993DB84FD7!1168.entry

本年度CVPR最有趣的文章

在今年的CVPR，见到了很多朋友，也看到很多Paper。
在这次会议里面让我最喜欢的一篇Paper，却不是在会议中正式发表的，而是在TC Panel派发的。这篇Paper的题目叫Paper Gestalt。文章以诙谐的笔调描述了一个基于vision + learning的自动paper review算法。
参加会议的朋友们可以很幸运的在会场获取这篇文章，至于没有来的朋友，我想只能向作者（这位兄弟（也许是姐妹）在paper中自称Carven von Bearnensquash, [email protected]）索要了。

（chenyusiyuan@ 原文下载：http://vision.ucsd.edu/sites/default/files/gestalt.pdf）

这篇论文出炉的背景，就是最近几年CVPR或者ICCV的submission呈现急速的指数增长的趋势（在过去10年翻了三倍）。按照这个速度增长，在 10年后每次会议的投稿量就会超过5000篇！也许最好的办法是采用“货币杠杆”进行“宏观调控”——就是对投稿者收费。比如，对每个 submission征收100美元的费用，我相信对于投稿的数量和质量都会取得立竿见影的效果。一方面，很多纯粹是来碰运气的作者会掂量一下花100块 钱来博取1%的命中机会是不是值得；而持认真态度的作者则会对paper精益求精，免得投稿费白白浪费；而最终文章被录用的作者就可以减免注册费，会议方面也有更多的funding来给有志于为 Computer Vision 奋斗的学术青年发放参加会议的路费。一举四得，何乐不为，呵呵。

当然了，涉及到钱的问题，自然要经历很多微妙的利益博弈——这些事情还是让Chair们去担心好了。这里，我们还是继续“奇文共欣赏”吧。文章的算法很简单（前提是你对Machine Learning或者Computer Vision有一点了解），把8页的pdf文档并排成一张长的image，然后就在上面抽feature。做自然语言处理的朋友们请不要激动，这是 Vision的paper，自然用的是Vision圈子自己的方法。好了，抽什么feature呢？主要是HOG(Histogram of Gradients)，这是一种纯粹用于描述视觉观感的feature。显然，大段的文本，曲线图，图像，表格，数学公式，它们的feature应该是不太一样的。然后作者用AdaBoost做feature selection训练得到一个分类器：纯粹根据paper的视觉观感来判断paper的好坏。
说到训练分类器，自然需要一个训练集。这篇文章的作者收集了CVPR 2008, ICCV 2009和CVPR 2009的全部1196篇paper构成正样本。那么负样本从何而来呢？被拒的paper显然作者是拿不到的。于是他很聪明的利用了一个众所周知但是大家 却不会公开明言的事实：workshop接纳的很多是在主要会议被拒收的paper。这样，很不幸的，workshop上发表的文章被用作负样本。在 Workshop上发表了论文的同志们不要打我——我只是讲述一篇别人的文章，这个主意不是我出的。
最有趣的部分要数实验结果了。从ROC曲线来看，结果其实还是不错的——以拒绝15%的正样本为代价，可以滤除一半的负样本。作者对于正负样本的特征做了 一些总结，也许对于大家以后投paper还是有点指导意义呢。。。

正样本的“视觉”特点：
1. 里面有几段公式，看上去文章显得似乎很专业，也显得作者似乎数学不错；
2. 实验部分里面多少要有几个曲线图，即使那几个曲线图说明不了什么。但是，只要有几个曲线图在那里，起码表示我做的是“科学实验”；
3. 最好在文章开头或者最后一页排列一堆图像。其实，我也注意到很多作者喜欢排列很多dataset里面的图像到paper上——即使那是一个 publically available的standard dataset——我不知道这样做的意义何在——除了审美效果。
4. 最好写满8页，代表分量足够。

负样本的特点：
1. 不够页数。在submission阶段，写不满6页的文章被录用的机会很小。虽然最后很多本来8页的文章还是能很神奇地被压缩到6页，如果作者想省掉 200美元的附加页费。题外话，我也一直不明白为什么多一页要多交100美元注册费。
2. 有很大的数字表，就是m行n列，排满数字那种。这篇文章表明，排列了很多曲线图和柱状图的文章比排列了很多数字表的文章有更大概率被接收。
3. 没有漂亮插图。

这篇文章的结果，我也做一些补充评论。
1. CVPR和ICCV的录用结果，对于文章的视觉观感，有着显著的统计相关。从我自己做Reviewer的经验，以及和其它reviewer的交谈来说，这个确实在一定程度上影响了reviewer的第一印象，甚至是评价基调。一篇文章在first glance给人以专业和有内涵的感觉，会有利于它在reviewer心中树立良好印象。这与学术无关，但是，很不幸，却是一个普遍存在的事实。
对于NIPS这种理论取向的会议，虽然不需要那么多漂亮的图表，但是，文章要“长得”像这些会议的文章。让人觉得写文章的是一个有经验的研究者，而不是一个打酱油的。
2. Workshop的文章和CVPR/ICCV主会似乎存在明显差距，以至于一个如此简单的分类器都能够在区分它们的任务中取得不俗的成绩。另外，作者使用 workshop paper作为负样本的做法虽然是个人选择，但是，起码在一定程度上反映了这个community对于workshop的态度。
3. 近年来CV paper的投稿量的高速增长，已经严重影响了review的质量。一方面，会议不得不邀请许多没有很多经验的学生参与到review的过程，即使文章是 发到senior researcher的手中，最终还是会被传递到他的某个刚入行的学生那里作为学习reviewing的“牺牲品”。我甚至听说过有reviewer为了 应付due date，把文章交给秘书或者亲戚来审，其结果可想而知了。另外，reviewer也没有足够的时间来仔细的审读paper。很多情况下，读完 abstract和intro，大概翻翻实验结果以及文章的插图，已经基本形成对文章的定性。如果reviewer喜欢这篇paper，它会根据作者的 claim对文章表示赞赏；如果不喜欢这篇文章，就会找一些似是而非的理由把文章拒掉。
当然了，最后我们还有rebuttal，然后由AC meeting来确定文章的生死。Area Chair大多是成名学者，个人的学术水平还是由一定保证的。但是，他们非常繁忙，AC meeting虽然目的是给每篇文章一个decision，但是在一些AC的心目里，这主要是一个旅游和social的机会。大部分的final decision就是根据review结果照本宣科（一个不成文的规矩是review rating的中位数是2作为录取划线标准）。另外，AC大概会看看abstract和rebuttal，然后酌情裁量。