11月3日直播预告 | NeurIPS 2022 预讲会

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

哔哩哔哩直播通道

扫码关注AI TIME哔哩哔哩官方账号预约直播

11月3日 9:30—11:00

讲者简介

税昌健：

麦吉尔大学博士后，主要从事可信赖机器学习算法和在健康领域的应用。更多信息见个人主页 https://cjshui.github.io/

报告题目

算法公平性和有效性：能否同时达到最优

报告简介

在算法公平性领域,为了确保算法没有歧视我们往往会有有效性的损失即准确度的下降。如何同时让这两个指标达到最优一直是算法公平性的最重要的问题。在这篇论文中，我们设计了一种同时能保证准确度和公平性的算法，这个算法设计为一个双层优化问题，在内层我们需要保证每个子组的最优化信息，在外层我们需要保证的公平算法能获取最大的公有信息。我们在理论上证明出来这种平衡是最优的，即公平性和准确度可以被证明是最优的。在实验中，我们的算法在自然语言数据上表现出了明显的公平性提升。

讲者简介

宋恺涛：

微软亚洲研究院研究员，研究兴趣为自然语言处理。

报告题目

基于滑动语言模型的句子评分转换器

报告简介

句子评分旨在测量句子的极大似然性估计，其被广泛应用于自然语言处理的任务场景，如重排序，即从多个候选中选择最佳句子。以往关于句子评分的工作主要采用了以因果语言模型为主的GPT以及以掩码语言模型为代表的BERT模型。然而，我们注意到这两种方法在解决语言评分上都有一定的局限性：1）CLM只利用单向信息来估计句子的概率，而不考虑上下文的双向信息，这会影响评分质量；2）MLM一次只能估计部分标记的概率，因此需要多次前向传递来估计整个句子的概率，这会导致大量计算和时间开销。在本文中，我们提出了一种Transformer模型，它具有一种新颖的用于句子评分的滑动语言建模（SLM）。具体而言，我们的SLM采用三流自注意力机制来估计具有双向上下文的句子中所有标记的概率，并且只需要一次前向传递。在多个任务上的实验结果表明，我们的方法比其他语言模型具有更好的性能。

讲者简介

余博涛：

南京大学计算机科学与技术系硕士生，研究兴趣为自然语言处理、AI音乐

报告题目

针对音乐生成的细粒度和粗粒度结合的注意力机制

报告简介

近年来，Transformer模型在音乐生成中应用广泛，但是由于音乐序列通常非常长（超过10000个token），且具有特别的重复结构，直接使用现有模型并不是最优的选择。我们提出Museformer来更好地解决音乐生成中的这些挑战，其包含一种细粒度和粗粒度结合的注意力机制：通过细粒度注意力重点关注与音乐结构相关的小节，以更好的生成音乐的重复结构；通过粗粒度注意力获得其他小节的信息总结，以保留必要的上下文信息。客观和主观实验证明，这种注意力机制能够有助于模型生成音乐的重复结构，并且在显存消耗和运行速度方面都较全注意力机制有很大提升。

11月3日 9:30—11:00

讲者简介

陈永强：

香港中文大学计算机系博士生，研究兴趣是图神经网络和分布外泛化。

报告题目

面向图数据分布外泛化的因果表示学习

报告简介

近年来，尽管在图像等欧式数据上使用因果不变性原理进行分布外泛化（Out-of-Distribution generalization）取得了一定的成功，但对图数据的研究仍然有限。与欧式数据不同，图的复杂性对采用因果不变性原理的使用提出了独特的挑战。首先，图上的分布偏移（Distribution shifts）既可以在节点属性上出现，也可以在图结构上出现，给图上不变性的识别带来了很大的困难。此外，先前大部分欧式数据上的分布外泛化算法所需要的域（Domain）或环境划分信息，在图数据上也很难获得，给面向图数据的分布外泛化算法开发带来了更大的挑战。为了在图数据上也能做到分布外泛化，我们提出了一个新的框架，称为因果关系启发不变图学习 (CIGA)，以识别和利用图数据上的因果不变性，使得模型能够在图上的各种分布变化下实现良好的泛化性能。具体来说，我们首先用因果图建模了图上可能的分布变化，并推导出，当模型只关注包含有关标签成因的最多信息的子图时，可以实现图上的分布外泛化。为此，我们提出了一个信息论目标，以提取最大程度地保留不变的同类信息的所需子图，使用这类子图进行学习和预测则可不受分布变化的影响。我们对16个合成数据集和真实世界数据集的广泛实验，包括在AI制药相关的分子属性预测数据集DrugOOD上，验证了CIGA在图上（节点属性、图结构、图大小等）各种分布偏移下良好的分布外泛化能力。

讲者简介

周满：

中国科学技术大学博士研究生，研究方向为底层图像处理，遥感图像融合，连续学习；个人主页：https://manman1995.github.io/

报告题目

深度傅里叶上采样

报告简介

现有的卷积神经网络广泛采用空间上下采样进行多尺度建模。然而，空间上采样算子（例如插值、转置卷积和反池化）严重依赖于局部邻域像素值，无法探索全局依赖性。相反，根据谱卷积定理，傅里叶域符合全局建模的性质。与容易利用局部相似性进行上采样的空间域不同，傅里叶域上采样更具挑战性，因为它不遵循这种局部特性。在本研究中，我们提出了一种理论上可行的深度傅里叶向上采样（FourierUp）来解决这些问题。我们重新审视了空间域和傅里叶域之间的关系，揭示了傅里叶变换域中不同分辨率特征的变换规则，为FourierUp的设计提供了重要的见解。FourierUp作为一个通用运算符，由三个关键组件组成：2D离散傅里叶变换、傅里叶维数增加规则和2D傅里叶逆转换，它们可以直接与现有网络集成。在多个计算机视觉任务（包括目标检测、图像分割、图像去雨、图像去雾和引导图像超分辨率）中进行的大量实验表明，通过引入我们的FourierUp，获得了一致的性能提升。

讲者简介

胡悦：

主要研究方向为协作感知（collaborative perception），任务类型主要为基于LiDAR或Camera的3D目标检测。代表工作如下：

通信量受限下的协作感知：挖掘感知信息空间分布的异构性，成果发表在Neurips 2022;

通信时延鲁棒的协作感知：通过预测模块补偿通信时延，成果发表在ECCV 2022。

报告题目

新一代协作感知方法Where2comm，将通信带宽降低至十万分之一

报告简介

盲人摸象的寓言启示着我们，个体对世界的感知具有不可避免的局限性，有效的协作是打开视野和格局的重要途径。因此，协作感知应运而生：多个集 “感 - 传 - 算” 于一生的智能体分布式地交换关键信息，提升彼此的感知能力，从根本上解决遮挡、远距离等个体难以克服的感知问题。相关技术方法将 AI 和通信技术高度整合，对车路协同，无人集群等群体智能应用有着深刻影响。

讲者简介

张岸：

新加坡国立大学，研究兴趣包括因果推断和分析，推荐系统等。

报告题目

在推荐系统中针对流行度偏差的一个通用损失函数

报告简介

推荐系统中广泛存在着流行度偏差，即模型倾向于预测流行度高的用户-物品对，而丧失了对真实用户喜好和物品质量的发掘和表达。如何有效解决这种流行度偏差？如何能使得去偏方法不仅仅是在流行与非流行之间的折中权衡？如何能更好的令推荐系统学习到准确而具有泛化性的表示？这是每一个推荐人都要深入思考的问题，我们提出的BC Loss是被理论和实验证明行之有效的探索，也希望能进一步启发更多的工作从提高表达能力本身出发，解决流行度偏差问题。

讲者简介

杨念祖：

上海交通大学直博二年级

报告题目

学习子结构的不变性以解决分布外泛化分子表示学习问题

报告简介

分子表示学习(Molecular Representation Learning)已得到广泛关注，目前已有方法已在各种任务中表现出色，例如在分子特性预测和靶点识别任务中。然而，现有方法的模型设计或实验评估过程中都是基于训练和测试数据是独立同分布的这样的假设。而在实际应用中，这样的假设很可能会不成立，因为测试分子极有可能来自模型训练阶段未见过的环境，从而导致严重的性能下降。在这篇工作中，受来自不同环境(例如分子骨架、分子尺寸等)的分子们的生物化学性质通常与某些分子子结构稳定相关这样一个现象的启发，我们提出了一个名为MoleOOD的新分子表示学习框架，以增强分子表示学习模型对这种分布变化的鲁棒性。具体来说，我们引入了一个环境推理模型，以完全数据驱动的方式识别影响数据生成过程的潜在因素，即环境变量。我们还提出了一个新的学习目标来指导分子编码器利用这些与跨环境的分子性质标签更稳定相关的子结构。在十个真实数据集上的实验结果表明，即使缺少事先人为标注好的环境标签，在各种分布外(OOD)场景下，利用模型自行推理得到的环境标签，我们的模型比现有方法具有更强的泛化能力。特别地，就ROC-AUC指标而言，我们的方法分别比OGB和DrugOOD benchmark的最强基线模型分别提高了5.9%和3.9%。

讲者简介

杨昊桐：

北京大学博士研究生

报告题目

知识图谱补全模型在开世界假设下的评估问题

报告简介

知识图谱是一种大规模存储结构性信息的数据结构，而现有的绝大多数知识图谱都存在信息缺失，因此，自动地对知识图谱进行补全是一个重要的研究领域。然而，目前采用的知识图谱补全模型的评估过程往往忽视了测试集本身的不完整性，基于一种错误的闭世界假设——即将所有未被观察到的事实都认为是错误的。在本文中，我们基于一种更真实的开世界假设，即存在非被观测但正确的事实，重新分析了现有的模型评估流程。针对目前最为流行的度量，我们指出其存在的退化现象，即随着模型的真实强度增强，评估度量增长愈发不明显。更进一步的，这还将导致评估不一致问题，即对于不同模型，评估度量可能错误反应模型强弱，并导致不公平和没有说服力的模型比较。我们从理论和实验两个角度都证明了这一现象的存在。最终指出度量“关注顶部”的性质可能是导致这一问题的原因，基于此给出了解决办法。

大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NIPS”，将拉您进“AI TIME NeurIPS交流群”！

AI TIME微信小助手

主办单位：深圳国际科技信息中心、AMiner·深圳·科技超脑

承       办：AI  TIME

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了800多位海内外讲者，举办了逾400场活动，超400万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！