ICLR‘23论文得分排名! 多篇论文竟同时获1分和10分?
人工智能领域综合顶级会议ICLR2023（ International Conference on Learning Representations）审稿意见已出炉。ICLR的审稿分数和意见全部在OpenReview平台上公开，有网友爬取了本轮审稿的论文得分排名，链接如下：
https://docs.google.com/spreadsheets/d/1INZI9epkfBkPOlKuJFaffUCOKDns87Iqg4zovHnf-zs/htmlview#gid=625873159
该链接公布了4848份审稿分数统计。大部分论文的审稿人数量为3-5人，每名审稿人给每篇论文的可评分数选项为1, 3, 5, 6, 8, 10，也就是说审稿人不能给论文打2分、4分、7分或9分。
一、分数分布概况
ICLR2022年录用率为32.3%（1095/3391），2021年录用率为28.7%（860/2997）。
若按照2022年的录用率32.3%来看，今年卡在前32.3%的论文有1556篇，最低均分为5.50分。若按照2022年的录用数1095篇来看，今年前1095篇论文占总量的前22.6%，最低均分为5.75分。尼谟认为均分在5.50分及以上的同学都值得认真rebuttal。ICLR在2021年rebuttal前后总平均分提高了0.21，其中72%的论文分数没有变化。关于rebuttal究竟有没有用，详见《ICLR往年rebuttal到底有没有用?》
以下为各分数详细位次与对应比例
8.67分 位次1 0.02%
8.50分 位次3 0.06%
8.25分 位次7 0.14%
8.00分 位次8 0.17%
7.75分 位次42 0.87%
7.50分 位次50 1.03%
7.25分 位次121 2.50%
7.00分 位次152 3.14%
6.75分 位次238 4.91%
6.50分 位次386 7.96%
6.25分 位次576 11.18%
6.00分 位次744 15.35%
5.75分 位次1010 20.83%
5.50分 位次1364 28.14%
5.25分 位次1840 37.95%
5.00分 位次2098 43.28%
4.75分 位次2549 52.58%
4.50分 位次3041 62.73%
4.25分 位次3439 70.94%
4.00分 位次3682 75.95%
二、分数标准差分布概况
1. 标准差大于3 9篇 占比0.19%
只有9篇论文标准差大于3，其中标准差最高的得分为[1;3;10]，标准差高达3.859。
2. 标准差2-3（前开后闭下同）476篇 占比9.82%
标准差2.5的得分范例：[3;8;8;3]、[1;6;1;6]
标准差2.5的得分范例：[5;8;1;1]、[3;5;10]
3. 标准差1.5-2 500篇 占比10.31%
标准差2.0的得分范例：[3;3;8;3;3]
4. 标准差1-1.5 1747篇 占比36.0%
标准差1.5的得分范例：[6;3;6;3]、[8;8;5;5]。
5. 标准差0-1 1760篇 占比36.3%
标准差1.0的得分范例：[8;8;6;6]、[5;5;3;3]，标准差1以下的论文，说明审稿人意见大体一致。
6. 标准差0 356篇 占比 7.3%
共有356篇论文分数标准差为0，也就是说所有审稿人意见完全一致，其中26篇全为8，占比7.3%；49篇全为6，占比13.8%；121篇全为5，占比34.0%；154篇全为3，占比43.3%；6篇全为1，占比1.7%。可以看到标准差为0的集中在3分和5分，占比达到了77.3%。
总体上来说，标准差在1.5以下的文章共有3863篇，占比79.7%，分差较小的占大多数。
三、一些诡异的得分情况
评分中也出现了一些比较诡异的情况。比如，有3篇论文评分同时出现了1分和10分：
1. Breaking the Curse of Dimensionality for Parametric Elliptic PDEs
分数：[1;3;10]
论文链接：https://openreview.net/pdf?id=3nfMmcditWu
2. Neural Decoding of Visual Imagery via Hierarchical Variational Autoencoders
分数：[3;6;1;10]
论文链接：https://openreview.net/pdf?id=TM9jOSaIzN
3. Generalizable Multi-Relational Graph Representation Learning: A Message Intervention Approach
分数：[1;10;3;3;3]
论文链接：https://openreview.net/pdf?id=xOPd5QO_5RT
四、本公众号交流群内分数统计情况
本号于22.11.5上午在轻松参会ICLR2023群内发起了ICLR Rebuttal得分匿名投票，群内共560名群友，共计137名群友投票。
其中共有2名群友8分以上（不含，下同），全球仅有7人均分>8分，可以说是非常牛了。
14位群友6.5分以上，群投票占比10.21%，实际占比（OpenReview上所有投稿的分数占比）8.0%。
36位群友6分以上，群投票占比26.3%，实际占比15.3%。
57位群友5.5分以上，群投票占比41.6%，实际占比28.1%。
可以看出6分及5.5分以上群投票占比明显高于实际占比。由此可以大致外推出一个结论，即，各个学术会议在rebuttal阶段，投稿交流群内的投票得分统计总体会比实际分数分布要虚高一些，尼谟认为，其原因是，通常得分高的人比得分低的人更愿意积极参与此类投票活动。所以大家在投稿其他会议时，也不要在交流群内看到分数投票统计结果就泄气了。
投票具体分数分布如下：
公众号【计算机会议投稿】后台
回复【ICLR】进ICLR2023交流群
计算机会议投稿
回复会议名称获取交流群二维码，如“cvpr”
8篇原创内容
公众号
觉得录用希望不大、放弃治疗的同学，近期可考虑转投以下会议（按照截稿时间最早到最晚排序）：
ICME2023
录用率：2022年29%
CCF分级：B
截稿时间：22.12.11
录用通知时间：23.3.12
官网链接：https://www.2023.ieeeicme.org/
征稿范围：
3D multimedia, AR/VR and immersive media
Emerging multimedia applications and technologies
Multimedia analysis and understanding
Multimedia communications, networking and mobility
Multimedia databases and mining
Multimedia quality assessment and metrics
Multimedia security, privacy and forensics
Multimedia standards, trends and related research
Multi-modal media computing, interaction and human machine
Social media analysis and applications
Speech/audio processing
Image/video processing
gzh【计算机会议投稿】后台
hf会议名称进对应交流q，如ICLR