一年一度,AI科研华山论剑。
只是2019年NeurIPS,决战之巅选在了加拿大温哥华。
NeurIPS,全称Conference and Workshop on Neural Information Processing Systems。
中文译为:神经信息处理系统大会。
是全球最受瞩目的AI、机器学习顶级学术会议之一。
盛况之隆,门票都一票难求。所以可以想象,论文入选NeurIPS又意味着什么。
现在,2019年NeurIPS论文入选完整名单已公布。
也是AI领域的科研琅琊榜。
先说整体情况。
按照NeurIPS官方披露信息,今年共计收到6743篇论文投稿——创下新纪录,其中总共有1428篇论文接收入选,入选率21.1%,比去往年微微提升。
海外科研小哥Diego Charrez列出了对比图:
整体上看,NeurIPS投稿论文数逐年递增趋势非常明显,2014年总投稿1678篇,5年后已是6743篇了。
AI之热,可见一斑。
再从作者维度分析。
被接收入选的1428篇论文,总共来自4421位科研人员。
其中有3690位作者1篇入选,511位作者2篇入选,47位作者4篇入选……
单人8篇以上的共有5人。
其中UC伯克利大牛Pieter Abbeel、CMU的Ruslan Salakhutdinov,以及新晋图灵奖得主Yoshua Bengio,都是9篇入选。
入选论文最多的荣誉属于UC伯克利的Sergey Levine,他署名投稿的论文,共有12篇被接收。
其次是INRIA的大牛Francis Bach,共有10篇。
华人作者中,论文入选数最靠前的是陶大程,共有8篇入选。
陶大程目前是澳大利亚科学院院士、悉尼大学教授,同时也担任优必选机器人的首席科学家。
此次NeurIPS论剑中,悉尼大学的华人力量也格外闪耀。
如果从论文作者数而言,最多的是2-5人署名,不过也有40篇论文只有单一作者。
最后机构角度盘点。
格局形势与去往年差不多,屠榜者均是传统豪强。
总共有5大组织入选论文数超过100篇。
其中工业界的是Google+DeepMind和微软。
学术界则是MIT、斯坦福和CMU。
其中Google—DeepMind的组合雄霸天下,共计170篇入选。
第二名麻省理工,86篇入围。
斯坦福以85篇排名第三。
CMU有79篇,微软有76篇。
UC伯克利、普林斯顿、Facebook、哥伦比亚大学、牛津大学,以及IBM均有超过40篇入选。
中国方面排名最靠前的是清华大学,总榜排名13,共有33篇入围。
中国科研机构方面,北大位列第二,总榜排名22,共有23篇入选。
其后是中科院、浙大、港中大、南大和复旦,都有超过5篇被录取。
更多详情,后面还会公布具体统计情况。
论文题目关键词方面,词云图分布如下:
值得一提的是NeurIPS 2019展示出的华人力量。
量子位初步统计,1428篇总入选论文中,华人作者署名入选的有596篇,占比42%。
其中身为第一作者的论文有465篇,占比华人作者参与论文数的78%,占比总录用的33%。
目前AI科研领域的华人力量,由此可见一斑。
而如果按照一作所属机构来计,来自中国的入选论文共计144篇。
占比总录取论文数的10%。
相比去往年,亦在保持增涨,而且从中国机构参与情况统计,来自学术界和工业界的分布同样可圈可点,甚至还有一篇来自VC机构的论文入选——全球范围内都实属罕见。
学术科研机构,量子位初步统计结果:
清华:33;北大:23;中科院:12。
浙大:7;香港中文大学:7。
南大:5;复旦:5。
西安交大:4;南方科技大学:4。
西安电子科技大学:3;天津大学:3。
厦大:2;大连理工:2;深圳大学:2;中山大学:2;国防科技大学:2;大连理工:2;上海财经:2。
上海交大:1;武大:1;南京航空航天:1;华东师范大学:1;南京理工:1;电子科技大学:1;北航:1;北理工:1;广东工业大学:1。
整体情况而言,清华锋芒不可挡,北大和中科院随其后。
而浙大、南大和复旦,依然是第二梯队中的中间。
西安交大、南方科技大学等,则紧随其后。
腾讯:18;阿里巴巴:11;百度:7。
华为:4;京东:3;商汤:3。
旷视:2;字节跳动:2;滴滴:2。
创新工场:1;地平线:1;海康威视:1;图森未来:1;飞步科技:1;微众银行:1;香侬AI:1。
工业界方面,腾讯这两年对基础科研的投入也换来成果,18篇入选位列第一。
阿里巴巴+蚂蚁金服有11篇入选。
百度则有7篇。
而且值得一提的是,百度7篇入选中,6篇与其认知计算实验室负责人李平博士有关。
另外,那篇罕见的来自VC机构的论文来自创新工场。一作是创新工场南京国际AI研究院执行院长冯霁,二作是创新工场南京国际人工智能研究院研究员蔡其志,南京大学AI大牛周志华教授也在作者列。
最后,除了上述介绍的几位高产大牛,此次NeurIPS 2019入选论文中,也不乏其他AI大牛身影。
深度神经网络之父、图灵奖新晋得主Geoffrey Hinton,有三篇入选:
When does label smoothing help?https://arxiv.org/abs/1906.02629
Lookahead Optimizer: k steps forward, 1 step backhttps://arxiv.org/abs/1907.08610
Stacked Capsule Autoencodershttps://arxiv.org/abs/1906.06818
斯坦福大学教授李飞飞,2篇入围:
Regression Planning Networks
HYPE: A Benchmark for Human eYe Perceptual Evaluation of Generative Modelshttps://arxiv.org/abs/1904.01121
旷视研究院院长孙剑,同样2篇入选:
Learnable Tree Filter for Structure-preserving Feature Transform
DetNAS: Backbone Search for Object Detectionhttps://arxiv.org/abs/1903.10979
并且大牛价值,也在于形成学术重镇。李飞飞所在的斯坦福自不必多言,已是传统豪强。
而Yoshua Bengio发起的MILA(加拿大),Hinton加持的多伦多大学(加拿大),孙剑担纲的旷视研究院,也都在此次NeurIPS势头隐隐。
如果单论中国力量,无论清华、北大还是中科院,其实都和腾讯、阿里等产生“产学研”结合下的化学反应,亦如西安交大和旷视、港中大和商汤。
所以论文入选放榜,只是结果,但结果背后,也隐含诸多可循迹的原因和方法。
最后,江山代有才人出,介绍几位NeurIPS 2019中的新星。
Yuanzhi Li,6篇入选,2014年清华计算机&数学本科毕业生,2018年在普林斯顿获得计算机博士学位,目前在斯坦福。
朱泽园(Zeyuan Allen-Zhu):4篇入选,而且都是一作身份——而且是第二次创下如此战绩。
朱泽园目前在微软总部研究院,但之前早已名震江湖。南京外国语毕业,高一保送清华。2005、2006两年蝉联IOI金牌,2009年ACM总决赛亚军——与教主楼天城是队友,清华毕业后他去MIT读完了硕士和博士。
对于朱泽园来说,数篇一作论文入顶会已是家常便饭,在2017年ICML上,他还有过5篇一作论文入选的神迹。
还有一位清华姚班传奇,目前身在杜克大学的鬲融,他此次有2篇论文入选。鬲融今年还囊获了“斯隆奖”。
总之,NeurIPS 2019放榜只是结果,但其中暗含的潜力和未来,值得期待。
再补充一点NeurIPS背景信息。
今年的NeurIPS已经是第33届了,将于12月8日~14日举办。
之前会议的简称是NIPS,由于这个词刚好有某种污污的意思,因此在广泛呼吁下,去年年底,组委会把简称改成了NeurIPS。
而正是由于机器学习的火爆,近几年的NIPS一票难求,堪称学术界的五月天周杰伦的演唱会,都是需要卡点抢夺。
去年的NIPS 2018,第一波放票后11分38秒后就卖光了,连特斯拉AI总监、李飞飞得意门生Andrej Karpathy都要吐槽:早上喝了杯咖啡,NIPS的门票就卖完了。
于是到了今年,NeurIPS 2019干脆不抢票了,改成了靠抽奖的方式、发送邀请函,这样就不受网速和时区的影响了。
甚至除了门票竞争激烈,投稿也一样艰难,NeurIPS 2019投稿截止时,官方服务器宕机了,最后组委会决定将提交论文的截止时间延后了两个小时才解决问题。
以上,接下来就静候最佳论文了。
注:内文作者和单位统计非NeurIPS官方梳理,欢迎指正补充,笔芯。
参考:
https://neurips.cc/Conferences/2019/AcceptedPapersInitialhttps://medium.com/@dcharrezt/neurips-2019-stats-c91346d31c8fhttps://blog.ml.cmu.edu/2019/09/06/carnegie-mellon-university-accepted-papers-at-neurips-2019/