2020年arXiv十大热门论文来了！不止GPT-3、SimCLR、YOLOv4...

近日，有位外国网友在Reddit上发帖称利用metacurate.io持续读取了2020年度arxiv上有关AI、机器学习、NLP和数据科学的大量论文资源。到2020年末，metacurate.io总共检索了94,000多个论文链接。

然后，汇总到一起，并根据7天的社交媒体热度对所有论文进行热度评分，最后选出来了十大arXiv热门论文，其中就有GPT-3、SimCLR、YOLOv4等研究工作。

以下是就是这十篇热门的arxiv论文，排名不分先后。

1、《Towards a Human-like Open-Domain Chatbot》.

论文链接：https://arxiv.org/abs/2001.09977

本文介绍了Meena，这是一个多轮的开放域聊天机器人，对从公共领域社交媒体对话中提取和过滤的数据进行了端到端的训练。对该2.6B参数神经网络进行简单的训练即可最大程度地减少下一个token的复杂度。本文还提出了一种被称为“敏感度和特异度平均值（SSA：Sensibleness and Specificity Average）”的人类评估指标，该指标可捕捉类似于人类的多轮对话的关键元素。本文的实验表明，复杂度与SSA之间有很强的相关性。

最优复杂度的端到端训练有素的Meena在SSA上得分很高（多轮评估为72％），这表明如果我们可以更好地优化复杂度，则人类水平的86％SSA是可以达到的。此外，完整版本的Meena（具有过滤机制和调谐解码功能）的SSA得分为79％，比我们评估的现有聊天机器人的绝对SSA得分高23％。

2、《A Simple Framework for Contrastive Learning of Visual Representations》.

论文链接：https://arxiv.org/abs/2002.05709

这篇论文来自深度学习之父Hinton负责的谷歌大脑团队，论文一作Ting chen是位华人，本科在北邮就读。

本文介绍了SimCLR：用于视觉表示的对比学习的简单框架。本文简化了最近提出的对比自我监督学习算法，而无需专门的架构或存储库。

本文证明：

1、数据扩充的组合在定义有效的预测任务中起着至关重要的作用；

2、在表示和对比损失之间引入可学习的非线性变换，可以大大提高所学习表示的质量；

3、与监督学习相比，对比学习受益于更大的batch和更多的训练步骤。

通过结合这些发现，本文能够大大胜过ImageNet上用于自监督和半监督学习的先前的很多SOTA方法。SimCLR学习到的基于自监督表示训练的线性分类器达到了76.5％的top-1准确性，相对于以前的SOTA水平有7％的相对提升，与监督学习的ResNet-50的性能相匹配。当仅对1％的标签进行微调时，本文可以达到85.8％的top-5精度，而相比AlexNet的标签数量减少了100倍。

3、《Language Models are Few-Shot Learners》.

论文链接：https://arxiv.org/abs/2005.14165

这篇论文就是无人不知无人不晓的来自OpenAI团队打造的2020年AI圈最为火爆的GPT-3 ！

本文证明，通过扩大语言模型的参数规模，可以极大地提高与任务无关的、少样本学习性能，有时甚至可以与现有的当前最佳微调方法相提并论。

具体来说，我们训练了GPT-3（一个具有1750亿个参数的自回归语言模型，参数量是以前的任何非稀疏语言模型的10倍），并在少样本学习设置下测试其性能。

对于所有任务，GPT-3都可以在不进行任何梯度更新或微调的情况下使用，仅需要通过与模型的文本交互指定任务和少量演示即可。

GPT-3在许多NLP数据集上均具有出色的性能，包括翻译、问答等任务。不过，我们还发现了一些数据集，在这些数据集上GPT3的少样本学习仍然困难重重。此外，在一些数据集上，GPT-3也面临一些与大型Web语料库训练有关的方法论问题。  

这篇论文获得了NeurIPS 2020的最佳论文，其获奖理由如下：

语言模型是解决NLP中一系列问题的现代技术的骨干部分。这篇论文表明，当将此类语言模型扩展到前所未有的参数数量时，语言模型本身可以用作少样本学习的工具，无需任何额外的训练就可以在许多NLP问题上取得非常出色的表现。

GPT-3是一个令人感到震撼的工作，有望对NLP领域产生重大影响，并经受住时间的考验。除了科学上的突破，这篇论文还对工作的深远影响进行了和全面且深入的诠释，可以作为NeurIPS社区思考如何考虑研究的实际影响的示例。

4、《A Survey of Deep Learning for Scientific Discovery 》.

论文链接：https://arxiv.org/abs/2003.11755

在过去的几年中，我们已经看到了机器学习核心问题的根本性突破，这在很大程度上是由深度神经网络的进步所推动的。同时，在广泛的科学领域中收集的数据量在规模和复杂性方面都在急剧增加。这为在科学环境中进行深度学习应用提供了许多令人感到兴奋的机会。

但是，一个重大的挑战是不同深度学习技术的广泛性和多样性使得人们很难确定哪些科学问题最适合这些方法，或者哪种方法的特定组合可能提供最有希望的第一种方法。

在本次研究调查中，作者专注于解决这一核心问题，并概述了许多广泛使用的深度学习模型，其中涵盖了视觉、序列和图形结构化数据，关联的任务和不同的训练方法，以及使用较少数据和更好地解释这些复杂的模型---许多科学用例的两个主要考虑因素。作者还提供了整个设计过程的概述、实施技巧，并链接了由社区开发的大量教程、研究摘要以及开源的深度学习pipeline和预训练的模型。作者希望这项调查将有助于加速跨学科领域深度学习的使用。

5、《YOLOv4: Optimal Speed and Accuracy of Object Detection》.

论文链接：https://arxiv.org/abs/2004.10934

代码：https://github.com/AlexeyAB/darknet

2002年4月份的某一天，CV圈被YOLOv4刷屏了，之前，YOLO系列(v1-v3)作者 Joe Redmon 宣布不再继续CV方向的研究，引起学术圈一篇哗然。

当大家以为再也见不到YOLOv4的时候，然鹅那一天 YOLOv4 终究还是来了！

YOLOv4的作者阵容里并没有Joe Redmon，YOLO官方github正式加入YOLOv4的论文和代码链接，也意味着YOLOv4得到了Joe Redmon的认可，也代表着YOLO的停更与交棒。

大家一定被文章开头的图片吸引了，位于图中靠右上角的YOLOv4 多么"亮眼"，越靠右上角意味着AP越高、速度FPS越快！而且YOLO被大家追捧的原因之一就是：快而准。YOLOv4 在COCO上，可达43.5％ AP，速度高达 65 FPS！

本文的主要贡献如下：

1. 提出了一种高效而强大的目标检测模型。它使每个人都可以使用1080 Ti或2080 Ti GPU 训练超快速和准确的目标检测器（牛逼！）。

2. 在检测器训练期间，验证了SOTA的Bag-of Freebies 和Bag-of-Specials方法的影响。

3. 改进了SOTA的方法，使它们更有效，更适合单GPU训练，包括CBN ，PAN ，SAM等。文章将目前主流的目标检测器框架进行拆分：input、backbone、neck 和 head。具体如下图所示：

• 对于GPU，作者在卷积层中使用：CSPResNeXt50 / CSPDarknet53

• 对于VPU，作者使用分组卷积，但避免使用（SE）块-具体来说，它包括以下模型：EfficientNet-lite / MixNet / GhostNet / MobileNetV3

更多内容请移步“大神接棒，YOLOv4来了！”一文。

6、《Deep Differential System Stability — Learning advanced computations from examples》.

论文链接：https://arxiv.org/abs/2006.06462  

神经网络可以从示例中学到高级数学计算吗？通过在大型生成的数据集上使用Transformer，我们训练模型以学习差分系统的属性，例如局部稳定性，无穷大行为和可控性。

本文获得了系统定性特性的近乎完美的估计，以及数值定量的良好近似值，这表明神经网络无需内置数学知识即可学习高级定理和复杂的计算。

7、《AutoML-Zero: Evolving Machine Learning Algorithms From Scratch》.

论文链接：https://arxiv.org/abs/2003.03384

机器学习研究已在多个方面取得了进步，包括模型结构和学习方法。使此类研究自动化的工作（称为AutoML）也取得了重大进展。但是，这一进展主要集中在神经网络的体系架构上，在该体系架构中，神经网络依赖于专家设计的复杂层作为构建块（block），或类似的限制性搜索空间。本文的目标是证明AutoML可以走得更远：有可能仅使用基本的数学运算作为构建块就可以自动发现完整的机器学习算法。

本文通过引入一个新的框架来证明这一点，该框架可以通过通用搜索空间显着减少人为偏见。

尽管空间很大，但是进化搜索仍然可以发现通过反向传播训练的两层神经网络。然后，接着可以通过直接在感兴趣的任务上来进行研究探索，例如双线性相互作用、归一化梯度和权重平均。此外，演化使得算法能适应不同的任务类型：例如，当可用数据很少时，出现类似于Dropout的技术。作者相信这些从头开始发现机器学习算法的初步成功为该领域指明了一个有希望的新方向。

 

8、《Deploying Lifelong Open-Domain Dialogue Learning 》.

论文链接：https://arxiv.org/abs/2008.08076

NLP的很多研究都集中在众包静态数据集（ crowdsourced static datasets）和训练一次然后评估测试性能的监督学习范式上。但是如de Vries等人所述，众包数据存在缺乏自然性和与真实世界用例相关性的问题，而静态数据集范式不允许模型从其使用语言的经验中学习。相反，人们希望机器学习系统在与人互动时变得更加有用。

在这项工作中，作者构建并部署了一个角色扮演游戏，人类玩家可以与位于开放域幻想世界中的学习 agent交谈。本文显示，通过训练模型来模拟他们在游戏中与人类的对话，通过自动指标和在线参与度评分可以逐步改善模型。当将这种学习应用于与真实用户的对话时，它比众包数据更有效，并且书籍收集起来要便宜得多。

9、《A Primer in BERTology: What we know about how BERT works》.

论文链接：https://arxiv.org/abs/2002.12327

本文是一篇综述性文章，概述了目前学术界对Bert已取得的150多项研究成果，并且对后续的研究也进行了展望，适合于初入BERT模型的人员学习。本文主要从BERT网络结构、BERT embeddings、BERT中的句法知识（Syntactic knowledge）、语义知识（Semantic knowledge）和知识库（World knowledge）以及Self-attention机制等角度对当下学术界对BERT的研究进行了说明，基于前面的介绍，作者对BERT是如何训练、当模型过于复杂时应给如何解决等问题给出了相应的解决方案。最后作者对BERT未来的研究方向以及需要解决的问题提出了展望。

10、《Building high accuracy emulators for scientific simulations with deep neural architecture search 》.

论文链接：https://arxiv.org/abs/2001.08055

计算机仿真（模拟)是进行科学发现的宝贵工具。但是，精确的仿真通常执行起来很慢，这限制了它们在广泛的参数探索、大规模数据分析和不确定性量化中的适用性。通过构建具有机器学习功能的快速仿真器来加速仿真的一种有希望的途径，但是这需要大量的训练数据集，而对于低速仿真而言，获得庞大的训练数据集可能会非常昂贵。

在这里，本文提出了一种基于神经体系架构搜索的方法，即使在训练数据数量有限的情况下，也可以构建准确的仿真器。

该方法使用相同的超级体系架构、算法和超参数，成功地将10个科学案例的模拟仿真速度提高了20亿倍，这些案例包括天体物理学、气候科学、生物地球化学、高能物理学等等。

 

本文的方法还固有地提供了仿真器不确定性估计，我们预计这项工作将加速涉及昂贵仿真的研究，允许研究人员进行更广泛的参数探索，并实现以前无法实现的新计算发现。

十篇热门论文看完，有网友质疑说Alphafold都不配上榜吗？随后有其他网友解释道Alphafold的论文发在了Nature上和Deepmind的研究博客上，而不是在arxiv上。

最后，本文的十篇论文统计也许和大家心里的论文榜单有出入，毕竟每个人都有自己的哈姆雷特。

参考链接：https://www.reddit.com/r/MachineLearning/comments/koee07/p_top_10_arxiv_papers_in_2020_according_to/

    推荐阅读

UNet为什么在医学图像分割表现好？

一个算法工程师的日常是怎样的？