【ICLR 2022】 10篇机器学习研究论文推荐

ICLR，即国际表征学习大会，是公认的深度学习领域国际顶级会议之一，关注有关深度学习各个方面的前沿研究，在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。

据统计，ICLR 2022 共有 54 篇 Oral 论文和 176 篇 Spolight 论文，论文接收总数 1095 篇，最终投稿量 3391 篇，论文接收率 32.3%。今年该会议投稿量和接收量都创了新高。

下面是AMiner为您从中整理的10篇机器学习研究相关论文：

1.Autoregressive Diffusion Models

“我们引入了自回归扩散模型（ARDMs），这是一个包含和推广与顺序无关的自回归模型（Uria等人，2014）和吸收离散扩散（Austin等人，2021）的模型类，我们表明这是轻度假设下ARDM的特殊情况…与基于位回溯编码的现有方法相反，ARDM不仅在完整数据集上，而且在压缩单个数据点上都能获得令人信服的结果。此外，由于模型的自适应并行生成，这可以使用适度数量的网络调用（去）压缩来完成…”
PDF下载链接：https://www.aminer.cn/pub/615d13fe5244ab9dcb637c13?f=cs

2.Poisoning and Backdooring Contrastive Learning

本文探讨了对手如何“毒害”像CLIP这样的模型的一小部分训练数据 —使用来自网络的图像-文本对的对比学习进行训练—从而使该模型将错误分类测试图像。他们尝试了两种方法：目标修改、后门攻击。
PDF下载链接：https://www.aminer.cn/pub/60cdace191e011329faa2577?f=cs

3.Bootstrapped Meta-Learning

这篇文章提出了一种用于元学习的算法，该算法使用梯度从本身或其他更新规则中引导元学习。许多强化学习算法对超参数的选择敏感。元学习是一种有希望的学习范式，用于完善学习者的学习规则（包括超参数），以使学习速度更快，更健壮。
PDF下载链接：https://www.aminer.cn/pub/613ec1285244ab9dcb81666e?f=cs

4.Equivariant Subgraph Aggregation Networks

消息传递的神经网络（MPNN）的表现力有限，所以该论文提出了一个基于将图表表示为多组子图并使用一种等变结构对其进行处理。Weisfeiler-Leman（WL）测试是一种算法，它基于其直接邻域对图的节点进行了递归分类。如果在所有这些过程之后，两个图的节点具有“不同的分类”，则意味着测试失败或者说这两个图是不同的（非同态）。如果两个图在WL测试之后“仍然相同”，则它们可能是同构的。
PDF下载链接：https://www.aminer.cn/pub/615e657b5244ab9dcbf22024?f=cs

5.Perceiver IO: A General Architecture for Structured Inputs & Outputs

论文提出了一种叫Perceiver IO通用架构，可以处理来自任意设置的数据，同时随输入和输出的大小进行线性缩放。这个框架采用感知器³类似的思路，通过增加一个灵活的查询机制，使模型具有任意大小的输出，而不是在模型结束时要求一个特定于任务的架构。
PDF下载链接：https://www.aminer.cn/pub/610785145244ab9dcb41fd7f?f=cs

6.Exploring the Limits of Large Scale Pre-training

“在这篇论文中，我们确定，随着上游精度的提高，下游任务的性能会饱和…深入研究导致这些现象的原因，我们表明我们观察到的饱和行为与表征通过模型层演变的方式密切相关。我们展示了一个更极端的场景，其中上游和下游的表现相互矛盾。也就是说，为了获得更好的下游性能，我们需要损害上游精度…”
PDF下载链接：https://www.aminer.cn/pub/615d13fe5244ab9dcb637c5a?f=cs

7.Language modeling via stochastic processes

论文引入了一个通过潜在随机过程隐含规划的语言模型。该模型被称为时间控制，它将句子表示模型为潜在空间中的布朗运动。在训练中，给定两个开始和结束的锚句，一个对比损失是由一个在锚句内的肯定句形成的这个肯定句落入了锚句在潜在空间中的"布朗桥"表征中，然后把负样本推出去。
PDF下载链接：https://www.aminer.cn/pub/623a90055aee126c0f36c479?f=cs

8.Coordination Among Neural Modules Through a Shared Global Workspace

“我们探索在深度学习的背景下使用这种沟通渠道来模拟复杂环境的结构…我们表明，能力限制具有合理的基础，因为（1）它们鼓励专业化和组合性，（2）它们促进了其他独立专家的同步…”
PDF下载链接：https://www.aminer.cn/pub/603f5b4691e011cacfbda263?f=cs

9.Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System

“我们提出了CLS-ER，一种新颖的双记忆体验重放（ER）方法，它维持与情节记忆相互作用的短期和长期语义记忆…我们的方法在标准基准测试以及更现实的一般持续学习环境中实现了最先进的性能…”
PDF下载链接：https://www.aminer.cn/pub/61f8a4c35aee126c0fee0260?f=cs

10.Autonomous Reinforcement Learning: Formalism and Benchmarking

“我们的目标是通过为自主强化学习（ARL）制定一个框架来解决这一差异：强化学习，其中智能体不仅通过自己的经验学习，而且还与缺乏人类监督来应对在试验之间重置…我们表明，随着干预措施的最小化，偶发性强化学习的标准方法和现有方法都在挣扎，这强调了开发强化学习新算法的必要性，更加注重自主性…”
PDF下载链接：https://www.aminer.cn/pub/61bff4295244ab9dcb79ca98?f=cs

论文解读链接：https://www.aminer.cn/research_report/62845f837cb68b460fbb11a8?download=false&classify=?f=cs

AMiner官网：https://www.aminer.cn/?f=cs