2020年，你读到印象最深的论文是哪篇？

文末互动话题参与有礼

记得看到最后哦

上周，我们在智源社区内发起了话题征集，邀请大家分享今年读过的印象最深的论文。

https://hub.baai.ac.cn/view/5106
复制链接至浏览器即可查看原贴

在这个帖子里，我们收到了回答，在这里选择其中最受欢迎的几条，和大家分享一下。

@Conn：

Nature Communications 2020 

Improving the accuracy of medical diagnosis with causal machine learning 

（https://www.nature.com/articles/s41467-020-17419-7?6598）

总结：本文亮点在于首次将反事实算法用到了医疗诊断领域，并且与当前最先进的关联算法、真实医生的诊断进行比较。（非常容易懂的一篇 因果推断的应用性文章吧）

特点： 

1、（说来惭愧，第一次读Nature子刊的文章。）发现文章的特点是如同冰山一样，显露出来的只是小部分，但却是最为美丽（精彩）的部分。正文很短，只有9页（除开2页参考文献，7页内容把做的事情非常突出的展现出来），很精彩地讲述了反事实算法对比关联算法和医生的优势；但是补充材料却有26页，真正要理解技术细节还是要看补充材料。

2、然鹅，美中不足的是，没有给出非常清晰的反事实算法流程，尽管有介绍使用的疾病模型是怎样的贝叶斯模型，也有介绍反事实算法计算的两种指标及其意义，但是无论是正文还是补充材料中，都没有很清晰地把这些串起来。（最后似乎也没有介绍关联算法是怎样实现的） 

3、最后，文中图表的表达都非常清晰且多样。图3首先展现了两种算法的错误率，但他们差距过小，于是设置了一个新的比例指标更加明显的展示出了两者差距（1-ec/ea）；图3用点的数量来显示正确率的，着实妙。另外，table 1中最后一行的VCommon数值131似乎有问题，最后三行（A与C关系分别是大于、小于、等于情况）的值加起来应该等于第一行的总值，然而这里131+20+2显然不等于131.

@美感带来的好处：

CVPR 2020 Oral:Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection

https://github.com/sfzhang15/ATSS 

这篇文章将FCOS(anchor-free，one-stage)与RetinaNet(anchor-based,one-stage)做对比，指出了基于锚定和无锚检测的本质区别在于如何定义正样本和负样本，这导致了它们之间的性能差距。如果在训练过程中采用相同的正负样本定义，无论是从一个box还是一个point回归，最终的表现都没有明显的差异。这说明了如何选取正、负训练样本对当前目标检测器具有重要意义。最后提出了一种自适应训练样本选择（ATSS），根据目标的统计特性自动选取正负样本。它大大提高了基于锚定和无锚检测器的性能，并弥补了两者之间的差距。

作者的研究本质上给予了anchor-free能继续发展的佐证，而且ATSS也能很方便的移植到其他网络当中去，不可谓不精彩。

@ayes：

On the Sentence Embeddings from Pre-trained Language Models

合理解释了为啥BERT抽的特征效果很差，甚至不如Glove，非常适合我这种只会取顶层[CLS] token的embedding作为句子表示的渣渣，EMNLP2020 的 paper，详尽地分析了从预训练模型得到 sentence embedding 的常规方式的缺陷和最佳打开方式，是一篇非常实用、轻松帮助大家用BERT刷分的文章。

论文质量蛮高，分析和发现很有趣，通读之后感觉收获多多。至于为什么觉得它最好，因为中午刚读完....

@skl：

年度印象最深的是图灵奖得主Judea Pearl的因果推断：

Causal inference in statistics a primer（2016）

从因果定义到反事实，其介绍了因果推断基础和分析，并且近年来广泛应用于人工智能和深度学习中，很多论文中应用了其中思想和公式：如南洋理工大学的Unbiased Scene Graph Generation from Biased Training(CVPR2020)等。

@vhjf：

Momentum Contrast for Unsupervised Visual Representation Learning. 

何恺明，yyds！

@faron苏海龙：

ICLR2019：HOW POWERFUL ARE GRAPH NEURAL NETWORKS

https://arxiv.org/abs/1810.00826 

算是我对探索GNN工作机制入坑的第一篇论文吧。意义比较大，看的最认真的一篇论文。

@君猫：

MIRROR-GENERATIVE NEURAL MACHINE TRANSLATION

南京大学和字节跳动AI实验室合作发的，用VAE的隐空间将翻译和回译模型结合起来，可以利用单语数据集来提升翻译的质量。第一个看到将回译和翻译通过梯度结合起来的方法，以前的方法回译只用作数据增强。

@anniversary：

MIT HanLab的Leakage from Gradients，

使用构造的伪数据梯度逼近真实数据梯度来“偷”出真实数据，实现了像素级别精度。虽然假设条件比较严苛且并不总是有效，但觉得思路比较有意思

@小柯：

CVPR 2020的BBN和ICLR 2020的Decoupling两篇针对长尾问题的研究发现了相似的规律：即re-sampling的方法会损害网络对特征的学习表示能力，从而提出了不同的解决方案。两篇都是同一时期的优秀工作，值得一读。BBN同时也是2019年iNaturalist赛事冠军的解决方案。

https://openaccess.thecvf.com/content_CVPR_2020/html/Zhou_BBN_Bilateral-Branch_Network_With_Cumulative_Learning_for_Long-Tailed_Visual_Recognition_CVPR_2020_paper.html

https://openreview.net/forum?id=r1gRTCVFvB

@第二题选啥：

An Image is Worth 16x16 Words

虽然论文中有很多还可以商榷的地方，但不能否认的是其带起了 transformer在cv中的热潮。

https://arxiv.org/abs/2010.11929

以上就是小智为大家选出的精彩回答，在社区内点赞最高的几个评论已经获得了一份新年礼物。

如果你对这份礼物也有兴趣，新一期的社区互动活动千万不要错过哦~

有奖调查

熟悉我们的朋友都知道，每天上午，小智都会在智源社群内推送当天值得阅读的精华内容，从热点资讯到论文分享，再到活动推荐，AI人关心的内容，我们都有~

没错，本期有奖调查，就是关于我们的【AI日报】，希望大家能够积极参与、提供建议，让2021我们提供的【AI日报】更好看。

参与方式：

点击阅读原文进入智源社区，或直接点击下方小程序进入。

2020年智源社区热点回顾，AI日报满意度有奖调研

复制以下内容到评论区，并进行回答：

• 你在哪些渠道看到过我们的AI日报或者智源周刊？
  （微信群、公众号、邮件）

• 你更希望以什么形式看到资讯推送？
  （微信群、公众号、邮件）

• AI 日报满意度评分：1-5分，你打几分？
  // 5分超出期待每日必看；4分内容还不错有时候会看；3分一般可看可不看；2分看过有待提升；1分毫无价值从未看

• AI日报中你最感兴趣的内容？ 
  （论文推荐、 每日资讯、资源下载、互动话题、活动推荐）

• 其他意见

期待在评论区看到你的留言回复，小智将选取5位伙伴送出新年礼物（《了不起的程序员》2021年日历1份）~

点击此处参与互动