今天14:00 | NeurIPS 专场八

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

3月16日下午2点，本期AI TIME NeurIPS邀请了来自加州大学旧金山分校、哈佛大学、亚利桑那州立大学、西安交通大学、埃默里大学、马克斯·普朗克计算机科学研究所 、康奈尔大学、马里兰大学以及北京邮电大学的博士们开启NeurIPS专场八！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号预约直播

★ 嘉宾简介 ★

张逸真：

加州大学旧金山分校（UCSF）博士后（Chang Lab）。于 2021 年在密歇根大学获得博士学位，导师为Zhongming Liu教授。本科毕业于清华大学。主要研究兴趣是类脑学习和计算神经科学等人工智能与脑科学的交叉领域，研究方向包括视觉，听觉，和语言在大脑皮层的神经编码机制。

分享内容：通过视觉-语言跨模态对比学习得到可解释的语义空间

自然语言处理模型大多仅试图从文本中学习语义表征空间(semantic space)。相比之下，人类是通过与感知外部世界并与之交互来学习语言和理解抽象概念的。一种认知科学的理论认为，我们的大脑通过将抽象的语言符号“接地”(symbol grounding)到感觉运动系统的直观经验来建立语义表征。受此启发，我们设计了一个双流模型来将语义空间“接地”到视觉系统的表征上。该模型包括一个基于VGG的视觉流和基于Bert的语言流。两条流在顶部合并为一个共享的跨模态表征空间。通过对比学习，我们先让模型学会把图片与其语言描述的表征对齐，再进一步将图像中各物体之间的关系与其关联表征对齐。我们发现通过这样的模型设计和训练，语言流独立输出的词嵌入向量学习到了视觉流的信息来丰富其表征空间。这个空间的前几个主成分轴高度符合抽象(abstract)-具体(concrete)，与人类活动的相关性(human-related)，物体(object)-场景(scene)等可解释的维度。接入视觉信息的词向量可以更好地被聚类到一些词类的子集中。此外，我们还尝试了一些“词-词”组合和“图-词”组合的实验，并发现在新的语义空间和多模态空间上，我们可以实现语义组合——比如“斑”+“马”=“斑马”(striped horse = zebra)。

邓准：

哈佛大学在读博士生（导师 Cynthia Dwork 教授），即将入职哥伦比亚大学跟随 Richard Zemel 教授做博士后。本科毕业于浙江大学数学系。研究兴趣是表征学习，算法公平性，和数据隐私。个人主页：https://www.zhundeng.org

分享内容：通过对抗训练得到更好模型表示

迁移学习旨在利用对源数据进行预训练的模型，和有限的新任务的数据，来有效地得到一个适应新的目标任务的模型。最近的工作经验证明，源数据中的对抗性训练可以提高模型转移到新目标任务的能力。然而，为什么会发生这种情况呢？在本文中，我们提供了一个理论模型，并且严格分析对抗性训练如何帮助迁移学习。我们表明 源数据中的对抗性训练可产生更好的表示。此外，我们发现进行对抗训练，在半监督学习之上可以进一步提高可迁移性，这表明这两种方法在表示上具有互补优势。我们通过流行的数据集和深度学习的实验来支持我们的理论框架。

王航：

亚利桑那州立大学在读博士生 （导师 Junshan Zhang教授）。本科毕业于中国科学技术大学自动化系。主要研究兴趣是强化学习，优化理论，以及其在智慧交通，自动驾驶领域的应用。个人主页：https://ustcmike.github.io/

分享内容：自适应耦合Q-学习：通过反馈机制最小化估计偏差

耦合方法（ensemble method）是一种缓和Q-学习（Q-learning）过估计（overestimation）问题的方法。通常我们使用多个Q-函数估计器来估计函数值。众所周知，估计偏差在很大程度上取决于耦合大小（即目标中使用的 Q 函数估计器的数量。考虑到训练过程中函数估计误差的时变特征， 如何确定“正确”的耦合大小非常重要。为了应对这一挑战，我们首先推导出Q函数估计偏差的上限和下限，在此基础上调整集成大小以使偏差接近零，从而相应地应对时变近似误差的影响。基于我们的理论发现，我们提出耦合方法可以与模型识别自适应控制 (MIAC) 相结合，以实现有效的耦合大小的自适应调整。具体来说，我们设计了自适应集成 Q 学习 (AdaEQ)，这是一种具有两个关键步骤的广义耦合方法：(a) 刻画函数估计误差（error），并以此作为灵活控制集成大小的反馈， (b) 为最小化估计偏差（bias）而提出的的耦合大小自适机制。我们的实验表明，AdaEQ 在 MuJoCo 基准测试中能有效的提高学习性能。

张贺：

西安交通大学在读博士，师从郑南宁教授和邵斌博士。主要研究兴趣是深度学习在计算生物学、计算化学领域的应用。

分享内容：用于蛋白质接触预测的共进化Transformer架构

蛋白质是维持生命运转的核心生物大分子，其功能主要由蛋白质的三维结构决定。衡量蛋白质中任意两个残基（氨基酸）在空间中的距离，即蛋白质接触图，对于理解蛋白质的结构信息至关重要。接触预测是大多数蛋白质相关研究的重要一环。当前用于接触预测的方法一般基于从多序列匹配中推测得到的共进化特征，为了缓解人为设计的特征可能造成的信息损失，一些最新的工作试图从多序列匹配中直接学习共进化特征。这些工作的学习范式一般为：先从单条序列中学习残基的表征，然后用平均加权各个同源序列的残基表征得到共进化特征。然而，残基的共进化旨在反映大量同源序列在统计上呈现的协同进化特征，和现有学习范式并不完全一致。另外，多序列匹配当中存在大量非同源残基以及gaps，现有范式无法较好地处理这种噪声信息。为了缓解这两个问题，我们提出了一种新型网络架构，Co-evolution Transformer (CoT)，1）通过建模多条同源序列的信息提取更合理的全局共进化特征，2）通过选择性的聚合不同同源序列的表征自动过滤非同源序列或残基噪声。在CASP14基准集上的优越性能证明了我们方法的有效性。

张铮：

埃默里大学在读博士生，师从Liang Zhao教授。主要研究兴趣是图神经网络，尤其是表征学习能力的分析和在时空数据挖掘上的应用。

分享内容：空间网络上的表征学习

空间网络 (spatial networks)是节点和边在几何上受到约束并嵌入真实空间的网络，这对其拓扑属性具有至关重要的影响。尽管近年来在空间和网络上的表征学习方面取得了巨大成功，但在空间网络上的表征学习方面的工作却很少。从空间网络中提取鲁棒的表征需要开发适当的方法，以使空间和网络信息不受节点排列 (permutation)、旋转 (rotation)和平移 (translation)的影响。因此不能分别使用空间或网络模型对其进行建模。为了应对这些挑战，本文提出了一种空间网络表征学习的通用框架。具体来说，我们提出了一种有理论保证的信息无损和旋转平移不变的空间网络信息表征。为了确保效率，我们还提出了一种新的依赖于采样随机生成树来减少时间和内存复杂度。我们通过对人工和真实世界数据集的实验验证了我们提出的框架的有效性。

潘新钢：

马克斯·普朗克计算机科学研究所博士后，于 2021 年在香港中文大学获得博士学位。在 CVPR, ICCV, ECCV, NeurIPS, ICLR, TPAMI 等顶级会议和期刊上发表论文十余篇并担任审稿人。在 Tusimple 2017 车道线检测和 WAD 2018 可行驶区域分割比赛中获得冠军。现主要研究方向包括生成模型，神经渲染，和无监督三维学习。

内容分享：着色引导的三维生成模型

生成辐射场的发展推动了三维生成模型的发展。这些方法引入多视角约束作为正则化，以从二维图像学习三维生成模型。尽管取得了进展，但由于形状-颜色的模糊性，它们往往无法捕获准确的3D形状。在这项研究工作中，我们通过提出一种新的着色引导的生成模型ShadeGAN来解决这种模糊性。其关键在于，精确的3D形状还应在不同的光照条件下产生逼真的渲染效果。这种多重光照约束是通过显式在各种照明条件下执行着色来实现的。为了补偿计算表面法向的额外计算负担，我们进一步设计了基于表面跟踪的高效立体渲染策略，将训练和推理时间分别减少24%和48%。在多个数据集上实验表明，在学习精确的三维形状的同时，ShadeGAN实现了真实的三维可控的图像合成以及重光照效果。

杨关道：

康奈尔大学在读博士四年级学生，师从Serge Belongie和Bharath Hariharan。研究方向是利用深度神经网络来进行三维几何图形处理，生成，以及分析。

内容分享：基于神经场的几何处理

主流的几何图形处理算法都默认使用多边形网格 (mesh) 来表示形状。然而处理多边形网格需要同时维持网格离散化 (discretization) 的质量。比如，当任务需要改变多边形网格的拓扑结构的时候，往往需要对网格进行修补以保证其可用。本文提出用神经场 (neural fields) 来表示形状更便于几何图形处理的任务。已有的研究表明，神经场可以精准地表示一个复杂的图形，并且有很高的内存效率(compact)。神经场不需要将一个连续图形离散化，并且可以轻易地求多次导（higher-order derivatives)。这也说明我们可以利用高次导数优化神经场。本文探索的问题是：图形处理是否能够完全用神经场完成。我们专注于两个最具有代表性的几何分析任务: 过滤 (filtering) 和形变 (deformation)，并提出相对应的网络结构以及损失函数去用神经场可以完成这两项任务。实验结果表明基于神经场的结果与基于多边形网格的结果不分伯仲，尽管我们的方法不需要对图形进行离散化或者三角化（triangulation)处理。

舒漫莉：

马里兰大学 (University of Maryland) 计算机系在读博士生，导师为 Tom Goldstein 教授。此前于中国科学技术大学获得信息安全学士学位。她的研究方向集中于神经网络模型的鲁棒性 (Robustness) 和泛化能力 (Generalization)，包括对抗训练（Adversarial training），自监督学习 (Self-supervised learning) 等。相关工作发表在 NeurIPS, ICLR, ICRA, ICASSP 等国际学术会议。

内容分享：通过对抗特征扰动实现对域偏移的鲁棒性

对抗训练 (adversarial training) 已成为提高神经网络模型对于 “对抗样本”（adversarial example） 鲁棒性的标准方法之一。但是，我们也希望模型能对其他类型的自然发生的扰动（distribution shift）具有鲁棒性。这类域偏移被证明体现在深度图像特征的均值和方差的变化中。

这篇文章中，我们提出通过直接扰动深度图像特征的统计数据来实现对域偏移的鲁棒性。我们首先通过可视化分析来探索这些特征扰动和分布变化之间的关系。然后提出“对抗批标准化”（Adversarial Batch Normalization (AdvBN)）。它是一个简单的网络层，能在训练过程中生成对抗性的特征扰动。我们实验结果表明，通过在对抗性特征分布上进行微调，网络模型在未知的具有分布偏移的数据上的表现得到明显提升。此外，我们的特征空间扰动方法能进一步提升现有的像素空间数据增强方法。

刘洪瑞：

研究生就读于北京邮电大学，师从石川教授，本科毕业于大连理工大学。主要研究方向是图神经网络、半监督学习、OOD泛化。从在NeurIPS、WWW等顶级会议中发表论文。

内容分享：基于置信度校正的可信图神经网络

图神经网络 (GNN) 卓越的性能已经广受关注，但其预测结果是否值得信赖却有待探索。之前的研究结果表明，许多现代神经网络对其预测具有过度自信的现象。然而与之不同的是，我们发现 GNN对其预测结果却呈现出不自信的现象。因此，要想获得一个可信的GNN，亟需对其置信度进行校正。在本文中，我们设计了一种拓扑感知的后处理校正函数，并由此提出了一种新颖的可信赖 GNN 模型。具体来说，我们首先验证了图中的置信度分布具有同质性的特点，由此启发我们再次利用GNN模型来为分类GNN模型学习校正函数（CaGCN）的想法。CaGCN 能够为每个节点学习到一种从分类 GNN 的输出到校正后的置信度的唯一转换，同时这种转换还能够保留类间的序关系，从而满足保存精度的属性。此外，我们还将CaGCN应用于自训练框架，结果表明可以通过对置信度进行校正获得更可信的伪标签，从而并进一步提高性能。我们通过大量实验证明了我们提出的模型在置信度校正方面和在提高分类准确率方面的有效性。

陈雄辉：

南京大学LAMDA的在读博士生，师从俞扬老师。目前在从事强化学习领域的科研工作，主要关注面向真实世界场景的强化学习（Reinforcement Learning; RL）的挑战和解决方案。具体的研究方向有：offline RL, sim2real RL 和 dynamics model reconstruction in RL等。相关工作发表在NeurIPS，AAMAS，DAI等国际会议。

内容分享：一种用于强化学习的跨模态的无监督领域自适应方法

在以图像为输入的从虚拟器到真实环境的强化学习迁移场景中，为了解决真实环境和模拟器之间不可避免的差异，无监督领域自适应(Unsupervised Domain Adaptation)是一个有潜力的研究方向。领域自适应的方法旨在学习一个能够对齐真实环境和模拟器的表征空间，并使得在训练和部署过程中，策略都能够在这个表征空间上进行学习。然而，在以往的领域自适应方法中，一个能够渲染高保真图像的模拟器是必不可少的，这也加大了模拟器的构建难度和成本。此外，以往的无监督领域自适应算法通常只考虑了源域和目标域之间概率密度上的匹配，我们指出，这个目标函数是不适定的，可能导致算法收敛到错误的映射函数。本课题提出了一种新的跨模态的领域自适应方法Cross-mOdal Domain Adaptation with Sequential structure (CODAS)来学习一个从目标域中的图像映射到源域中的状态的映射函数，通过这个映射函数，在源域的状态上训练的策略可以直接部署到目标域中。具体来说，文章基于RL问题的序列性质，将跨域自适应问题表述为一个变分推理问题，并将其分解为一系列可优化的目标；同时在RNN上设计了一种特殊的残差模型结构，来加强额外的归纳偏差和稳定训练过程。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NeurIPS，将拉您进“AI TIME NeurIPS 交流群”！

哔哩哔哩直播通道

主       办：AI TIME 

合作媒体：AI 数据派

合作伙伴：中国工程院知领直播、学堂在线、智谱·AI、智源研究院、蔻享学术、AMiner、 Ever链动、biendata

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

我知道你

在看

哦

~

点击 阅读原文 预约直播！