【转】对AI领域的会议的评点
早在几年前，周志华就对AI领域的会议进行了评点。大牛就是大牛，从这个点评中，可以看出周志华老师在学术上涉猎之广泛，知识面之丰富，看问题之深刻。
注: 本文为小百合BBS的daniel所写
The First Class:
今天先谈谈AI里面tier-1的conferences, 其实基本上就是AI里面大家比较公认的top
conference. 下面同分的按字母序排列.
IJCAI (1+): AI最好的综合性会议, 1969年开始, 每两年开一次, 奇数年开. 因为AI
实在太大, 所以虽然每届基本上能录100多篇（现在已经到200多篇了），但分到每个
领域就没几篇了，象machine learning、computer vision这么大的领域每次大概也
就10篇左右, 所以难度很大. 不过从录用率上来看倒不太低,基本上20%左右, 因为内
行人都会掂掂分量, 没希望的就别浪费reviewer的时间了. 最近中国大陆投往国际会
议的文章象潮水一样, 而且因为国内很少有能自己把关的研究组, 所以很多会议都在
complain说中国的低质量文章严重妨碍了PC的工作效率. 在这种情况下, 估计这几年
国际会议的录用率都会降下去. 另外, 以前的IJCAI是没有poster的, 03年开始, 为了
减少被误杀的好人, 增加了2页纸的poster.值得一提的是, IJCAI是由貌似一个公司
的"IJCAI Inc.“主办的(当然实际上并不是公司, 实际上是个基金会), 每次会议上要
发几个奖, 其中最重要的两个是IJCAI Research Excellence Award 和 Computer
& Thoughts Award, 前者是终身成就奖, 每次一个人, 基本上是AI的最高奖(有趣的
是, 以AI为主业拿图灵奖的6位中, 有2位还没得到这个奖), 后者是奖给35岁以下的
青年科学家, 每次一个人. 这两个奖的获奖演说是每次IJCAI的一个重头戏.另外,
IJCAI 的 PC member 相当于其他会议的area chair, 权力很大, 因为是由PC member
去找 reviewer 来审, 而不象一般会议的PC member其实就是 reviewer. 为了制约
这种权力, IJCAI的审稿程序是每篇文章分配2位PC member, primary PC member去找
3位reviewer, second PC member 找一位.
AAAI (1): 美国人工智能学会AAAI的年会. 是一个很好的会议, 但其档次不稳定, 可
以给到1+, 也可以给到1-或者2+, 总的来说我给它"1”. 这是因为它的开法完全受
IJCAI制约: 每年开, 但如果这一年的IJCAI在北美举行, 那么就停开. 所以, 偶数年
里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些,
特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱
一点, 基本上在1和1+之间; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比
IJCAI低一级的会议(1-或2+), 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协
调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章
可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI
那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了.
COLT (1): 这是计算学习理论最好的会议, ACM主办, 每年举行. 计算学习理论基本上
可以看成理论计算机科学和机器学习的交叉, 所以这个会被一些人看成是理论计算
机科学的会而不是AI的会. 我一个朋友用一句话对它进行了精彩的刻画: “一小群数
学家在开会”. 因为COLT的领域比较小, 所以每年会议基本上都是那些人. 这里顺便
提一件有趣的事, 因为最近国内搞的会议太多太滥, 而且很多会议都是LNCS/LNAI出
论文集, LNCS/LNAI基本上已经被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的
会议, 例如COLT.
CVPR (1): 计算机视觉和模式识别方面最好的会议之一, IEEE主办, 每年举行. 虽然题
目上有计算机视觉, 但个人认为它的模式识别味道更重一些. 事实上它应该是模式识
别最好的会议, 而在计算机视觉方面, 还有ICCV与之相当. IEEE一直有个倾向, 要把
会办成"盛会”, 历史上已经有些会被它从quality很好的会办成"盛会"了. CVPR搞不好
也要走这条路. 这几年录的文章已经不少了. 最近负责CVPR会议的TC的chair发信
说, 对这个community来说, 让好人被误杀比被坏人漏网更糟糕, 所以我们是不是要减
少好人被误杀的机会啊? 所以我估计明年或者后年的CVPR就要扩招了.
ICCV (1): 介绍CVPR的时候说过了, 计算机视觉方面最好的会之一. IEEE主办, 每年举行.
ICML (1): 机器学习方面最好的会议之一. 现在是IMLS主办, 每年举行. 参见关于NIPS的
介绍.
NIPS (1): 神经计算方面最好的会议之一, NIPS主办, 每年举行. 值得注意的是, 这个会
每年的举办地都是一样的, 以前是美国丹佛, 现在是加拿大温哥华; 而且它是年底开会,
会开完后第2年才出论文集, 也就是说, NIPS'05的论文集是06年出. 会议的名字是
“Advances in Neural Information Processing Systems”, 所以, 与ICML\ECML这样
的"标准的"机器学习会议不同, NIPS里有相当一部分神经科学的内容, 和机器学习有
一定的距离. 但由于会议的主体内容是机器学习, 或者说与机器学习关系紧密, 所以
不少人把NIPS看成是机器学习方面最好的会议之一. 这个会议基本上控制在Michael
Jordan的徒子徒孙手中, 所以对Jordan系的人来说, 发NIPS并不是难事, 一些未必很
强的工作也能发上去, 但对这个圈子之外的人来说, 想发一篇实在很难, 因为留给"外
人"的口子很小. 所以对Jordan系以外的人来说, 发NIPS的难度比ICML更大. 换句话说,
ICML比较开放, 小圈子的影响不象NIPS那么大, 所以北美和欧洲人都认, 而NIPS则有
些人(特别是一些欧洲人, 包括一些大家)坚决不投稿. 这对会议本身当然并不是好事,
但因为Jordan系很强大, 所以它似乎也不太care. 最近IMLS(国际机器学习学会)改选
理事, 有资格提名的人包括近三年在ICML\ECML\COLT发过文章的人, NIPS则被排除在
外了. 无论如何, 这是一个非常好的会.
ACL (1-): 计算语言学/自然语言处理方面最好的会议, ACL (Association of
Computational Linguistics) 主办, 每年开.
KR (1-): 知识表示和推理方面最好的会议之一, 实际上也是传统AI(即基于逻辑的AI)
最好的会议之一. KR Inc.主办, 现在是偶数年开.
SIGIR (1-): 信息检索方面最好的会议, ACM主办, 每年开. 这个会现在小圈子气越来
越重. 信息检索应该不算AI, 不过因为这里面用到机器学习越来越多, 最近几年甚至
有点机器学习应用会议的味道了, 所以把它也列进来.
SIGKDD (1-): 数据挖掘方面最好的会议, ACM主办, 每年开. 这个会议历史比较短,
毕竟, 与其他领域相比,数据挖掘还只是个小弟弟甚至小侄儿. 在几年前还很难把它列
在tier-1里面, 一方面是名声远不及其他的top conference响亮, 另一方面是相对容易
被录用. 但现在它被列在tier-1应该是毫无疑问的事情了.
另: 参见sir和lucky的介绍.
UAI (1-): 名字叫"人工智能中的不确定性”, 涉及表示\推理\学习等很多方面, AUAI
(Association of UAI) 主办, 每年开.
The Second Class:
tier-2的会议列得不全, 我熟悉的领域比较全一些.
AAMAS (2+): agent方面最好的会议. 但是现在agent已经是一个一般性的概念,
几乎所有AI有关的会议上都有这方面的内容, 所以AAMAS下降的趋势非常明显.
ECCV (2+): 计算机视觉方面仅次于ICCV的会议, 因为这个领域发展很快, 有可能
升级到1-去.
ECML (2+): 机器学习方面仅次于ICML的会议, 欧洲人极力捧场, 一些人认为它已
经是1-了. 我保守一点, 仍然把它放在2+. 因为机器学习发展很快, 这个会议
的reputation上升非常明显.
ICDM (2+): 数据挖掘方面仅次于SIGKDD的会议, 目前和SDM相当. 这个会只有5年
历史, 上升速度之快非常惊人. 几年前ICDM还比不上PAKDD, 现在已经拉开很大
距离了.
SDM (2+): 数据挖掘方面仅次于SIGKDD的会议, 目前和ICDM相当. SIAM的底子很厚,
但在CS里面的影响比ACM和IEEE还是要小, SDM眼看着要被ICDM超过了, 但至少
目前还是相当的.
ICAPS (2): 人工智能规划方面最好的会议, 是由以前的国际和欧洲规划会议合并
来的. 因为这个领域逐渐变冷清, 影响比以前已经小了.
ICCBR (2): Case-Based Reasoning方面最好的会议. 因为领域不太大, 而且一直
半冷不热, 所以总是停留在2上.
COLLING (2): 计算语言学/自然语言处理方面仅次于ACL的会, 但与ACL的差距比
ICCV-ECCV和ICML-ECML大得多.
ECAI (2): 欧洲的人工智能综合型会议, 历史很久, 但因为有IJCAI/AAAI压着,
很难往上升.
ALT (2-): 有点象COLT的tier-2版, 但因为搞计算学习理论的人没多少, 做得好
的数来数去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非计算
学习理论的内容.
EMNLP (2-): 计算语言学/自然语言处理方面一个不错的会. 有些人认为与COLLING
相当, 但我觉得它还是要弱一点.
ILP (2-): 归纳逻辑程序设计方面最好的会议. 但因为很多其他会议里都有ILP方面
的内容, 所以它只能保住2-的位置了.
PKDD (2-): 欧洲的数据挖掘会议, 目前在数据挖掘会议里面排第4. 欧洲人很想把
它抬起来, 所以这些年一直和ECML一起捆绑着开, 希望能借ECML把它带起来.
但因为ICDM和SDM, 这已经不太可能了. 所以今年的PKDD和ECML虽然还是一起开,
但已经独立审稿了(以前是可以同时投两个会, 作者可以声明优先被哪个会考虑,
如果ECML中不了还可以被PKDD接受).
The Third Class:
列得很不全. 另外, 因为AI的相关会议非常多, 所以能列在tier-3也算不错了, 基本上能
进到所有AI会议中的前30%吧
ACCV (3+): 亚洲的计算机视觉会议, 在亚太级别的会议里算很好的了.
DS (3+): 日本人发起的一个接近数据挖掘的会议.
ECIR (3+): 欧洲的信息检索会议, 前几年还只是英国的信息检索会议.
ICTAI (3+): IEEE最主要的人工智能会议, 偏应用, 是被IEEE办烂的一个典型. 以前的
quality还是不错的, 但是办得越久声誉反倒越差了, 糟糕的是似乎还在继续下滑, 现在
其实3+已经不太呆得住了.
PAKDD (3+): 亚太数据挖掘会议, 目前在数据挖掘会议里排第5.
ICANN (3+): 欧洲的神经网络会议, 从quality来说是神经网络会议中最好的, 但这个领域
的人不重视会议,在该领域它的重要性不如IJCNN.
AJCAI (3): 澳大利亚的综合型人工智能会议, 在国家/地区级AI会议中算不错的了.
CAI (3): 加拿大的综合型人工智能会议, 在国家/地区级AI会议中算不错的了.
CEC (3): 进化计算方面最重要的会议之一, 盛会型. IJCNN/CEC/FUZZ-IEEE这三个会议是
计算智能或者说软计算方面最重要的会议, 它们经常一起开, 这时就叫WCCI (World
Congress on Computational Intelligence). 但这个领域和CS其他分支不太一样, 倒是和
其他学科相似, 只重视journal, 不重视会议, 所以录用率经常在85%左右, 所录文章既有
quality非常高的论文, 也有入门新手的习作.
FUZZ-IEEE (3): 模糊方面最重要的会议, 盛会型, 参见CEC的介绍.
GECCO (3): 进化计算方面最重要的会议之一, 与CEC相当，盛会型.
ICASSP (3): 语音方面最重要的会议之一, 这个领域的人也不很care会议.
ICIP (3): 图像处理方面最著名的会议之一, 盛会型.
ICPR (3): 模式识别方面最著名的会议之一, 盛会型.
IEA/AIE (3): 人工智能应用会议. 一般的会议提名优秀论文的通常只有几篇文章, 被提名
就已经是很高的荣誉了, 这个会很有趣, 每次都搞1、20篇的优秀论文提名, 专门搞几个
session做被提名论文报告, 倒是很热闹.
IJCNN (3): 神经网络方面最重要的会议, 盛会型, 参见CEC的介绍.
IJNLP (3): 计算语言学/自然语言处理方面比较著名的一个会议.
PRICAI (3): 亚太综合型人工智能会议, 虽然历史不算短了, 但因为比它好或者相当的综
合型会议太多, 所以很难上升.
Combined List:
说明: 纯属个人看法, 仅供参考. tier-1的列得较全, tier-2的不太全, tier-3的很不全.
同分的按字母序排列. 不很严谨地说, tier-1是可以令人羡慕的, tier-2是可以令
人尊敬的,由于AI的相关会议非常多, 所以能列进tier-3的也是不错的
tier-1:
IJCAI (1+): International Joint Conference on Artificial Intelligence
AAAI (1): National Conference on Artificial Intelligence
COLT (1): Annual Conference on Computational Learning Theory
CVPR (1): IEEE International Conference on Computer Vision and Pattern
Recognition
ICCV (1): IEEE International Conference on Computer Vision
ICML (1): International Conference on Machine Learning
NIPS (1): Annual Conference on Neural Information Processing Systems
ACL (1-): Annual Meeting of the Association for Computational Linguistics
KR (1-): International Conference on Principles of Knowledge Representation
and Reasoning
SIGIR (1-): Annual International ACM SIGIR Conference on Research and
Development in Information Retrieval
SIGKDD (1-): ACM SIGKDD International Conference on Knowledge Discovery and
Data Mining
UAI (1-): International Conference on Uncertainty in Artificial Intelligence
tier-2:
AAMAS (2+): International Joint Conference on Autonomous Agents and
Multiagent Systems
ECCV (2+): European Conference on Computer Vision
ECML (2+): European Conference on Machine Learning
ICDM (2+): IEEE International Conference on Data Mining
SDM (2+): SIAM International Conference on Data Mining
ICAPS (2): International Conference on Automated Planning and Scheduling
ICCBR (2): International Conference on Case-Based Reasoning
COLLING (2): International Conference on Computational Linguistics
ECAI (2): European Conference on Artificial Intelligence
ALT (2-): International Conference on Algorithmic Learning Theory
EMNLP (2-): Conference on Empirical Methods in Natural Language Processing
ILP (2-): International Conference on Inductive Logic Programming
PKDD (2-): European Conference on Principles and Practice of Knowledge
Discovery in Databases
tier-3:
ACCV (3+): Asian Conference on Computer Vision
DS (3+): International Conference on Discovery Science
ECIR (3+): European Conference on IR Research
ICTAI (3+): IEEE International Conference on Tools with Artificial
Intelligence
PAKDD (3+): Pacific-Asia Conference on Knowledge Discovery and Data Mining
ICANN (3+): International Conference on Artificial Neural Networks
AJCAI (3): Australian Joint Conference on Artificial Intelligence
CAI (3): Canadian Conference on Artificial Intelligence
CEC (3): IEEE Congress on Evolutionary Computation
FUZZ-IEEE (3): IEEE International Conference on Fu Systems
GECCO (3): Genetic and Evolutionary Computation Conference
ICASSP (3): International Conference on Acoustics, Speech, and Signal
Processing
ICIP (3): International Conference on Image Processing
ICPR (3): International Conference on Pattern Recognition
IEA/AIE (3): International Conference on Industrial and Engineering
Applications of Artificial Intelligence and Expert Systems
IJCNN (3): International Joint Conference on Neural Networks
IJNLP (3): International Joint Conference on Natural Language Processing
PRICAI (3): Pacific-Rim International Conference on Artificial Intelligence
关于List的补充说明:
列list只是为了帮助新人熟悉领域, 给出的评分或等级都是个人意见, 仅供参考. 特别要
说明的是:
tier-1 conference上的文章并不一定比tier-3的好, 只能说前者的平均水准更高.
研究工作的好坏不是以它发表在哪儿来决定的, 发表在高档次的地方只是为了让工作更
容易被同行注意到. tier-3会议上发表1篇被引用10次的文章可能比在tier-1会议上发表1
0篇被引用0次的文章更有价值. 所以, 数top会议文章数并没有太大意义, 重要的是同行的
评价和认可程度.很多经典工作并不是发表在高档次的发表源上, 有不少经典工作甚至是发表在很低档的
发表源上. 原因很多, 就不细说了.会议毕竟是会议, 由于审稿时间紧, 错杀好人和漏过坏人的情况比比皆是, 更何况还要
考虑到有不少刚开始做研究的学生在代老板审稿.会议的reputation并不是一成不变的，新会议可能一开始没什么声誉，但过几年后就野
鸡变凤凰，老会议可能原来声誉很好，但越来越往下滑.只有计算机科学才重视会议论文, 其他学科并不把会议当回事. 但在计算机科学中也有
不太重视会议的分支.Politics无所不在. 你老板是谁, 你在哪个研究组, 你在哪个单位, 这些简单的因素都
可能造成决定性的影响. 换言之, 不同环境的人发表的难度是不一样的. 了解到这一点后
, 你可能会对high-level发表源上来自low-level单位名不见经传作者的文章特别注意(例
如如果<计算机学报>上发表了平顶山铁道电子信息科技学院的作者的文章,我一定会仔细读
).评价体系有巨大的影响. 不管是在哪儿谋生的学者, 都需要在一定程度上去迎合评价体
系, 否则连生路都没有了, 还谈什么做研究. 以国内来说, 由于评价体系只重视journal,
有一些工作做得很出色的学者甚至从来不投会议. 另外, 经费也有巨大的制约作用. 国外
很多好的研究组往往是重要会议都有文章. 但国内是不行的, 档次低一些的会议还可以投
了只交注册费不开会, 档次高的会议不去做报告会有很大的负面影响, 所以只能投很少的
会议. 这是在国内做CS研究最不利的地方. 我的一个猜想：人民币升值对国内CS研究会有
不小的促进作用(当然, 人民币升值对整个中国来说利大于弊还是弊大于利很难说).… …
最近，实验室的大牛Gawd也写了一个rank，说的也很好，并且反映了这些会议的一些最新的变化。
NIPS：心中的痛，同样也是心中的梦想。尽管屡投屡被挫，但是要越挫越勇。不得不承认，NIPS上的文章质量上还是非常上乘的。对于圈外人来说，NIPS总是很难。不管其匿名与否，圈内的人一看便可猜个大概文章究竟出自何方神圣笔下。难为了我们这些无名小卒。
UAI：同样也是梦想，文章质量一样的上乘，同样的难。
ICML：虽说去年国内人士灌水无数，但这并不能削弱ICML文章的质量和影响力，从另外一个侧面讲，这正是说明了国内ML的进步神速。
AISTATS：别说他的文章接收率高，但和nips一样，想要进去还真得颇下一番功夫。看看zoubin等人对此会如此钟爱便可知晓该会议文章质量究竟如何。当然，该会议每每选心旷神怡之处做为栖身之地，也成为其吸引大牛竞相前往的得力手段。
IJCAI：且不论从前的IJCAI如何，上次在印度开的IJCAI可真是有点让人大跌眼镜，oral和poster文章数量之多都是一个里程碑。然而，并不能否定IJCAI在权内的影响力和号召力，对于做AI的人来说，IJCAI应该还是一个最主要的会议。只是如果照上届那般海收，恐怕文章质量无法保障。不知下届如何。
KDD：之所以把他写在IJCAI之后是因为他毕竟是从IJCAI上派生出来的，而其直至今日的发展速度不可谓不让人赞叹。然而我认为，一个会如果不匿名，那么其文章质量必然得不到大的飞跃。KDD里面的猫腻多了去了，不必熬述。希望可以尽快匿名。
ICCV：对于做CV的人来说，一定不同意把他排在第7位，然而就去年的iccv来看，在上面发文的做方法的人比比皆是。对于做方法的人来说，这个位置我想比较公平。具体原由大家只要看看上面做方法的文章便知。
CVPR：无法比较它与ICCV孰优孰劣，也许大部分人都认为ICCV稍胜一筹。我确认为不然，就去年ICCV上所发表的CVPR拒掉文章的数量便可见一斑。而且CVPR文章的投稿数量和接收文章数都是与日俱增，不知是否在Miami可以看到上千人开会的场面。
SIGIR：做方法的人要在SIGIR上篇文章还是挺难的，因为实验的要求比较高。当然，MSRA除外。
AAAI：将其放在此处并不是从AI的角度，而还是从ML相关的方法的角度。该会议上出现的ML以及PR文章的影响力不如上面8个会，不信可以去查citeseer。
SIGMM：当然，不可从做系统的同学的角度如此评价此会议。但是对于就是用ML的方法做了MM应用的人来说，此会议也只能在这个地方了。
ECML：尽管上面有ICML押着，不过文章质量一直很坚挺，这点从接收率也可见一斑。
SDM：尽管老吴一直力挺ICDM，但我认为其文章质量仍无法与SDM相比。从参会的人就可以看到。
ECCV：亏就亏在E字头了，不过文章质量不错。另外我发现上面发表的有关纯粹方法的文章并不多。
ICDM：尽管一直用接收率标榜自己，然而一个最主要的原因是基数大。如果文章质量没有硬保障，接收率也只是空谈。
上面也只是列出了我感兴趣的一些会议，从做方法的人的角度来看的rank。一家之谈，仅供消遣。