NIPS 2017录用论文先睹为快！论文作者清华专场分享（附PPT下载）
来源：雷锋网
作者：杨文
本文长度为3500字，建议阅读8分钟
本文为你详细整理GAIR大讲堂NIPS清华专场干货内容。
NIPS是由连接学派（connectionist）神经网络的学者于1987年在加拿大创办，后来随着影响力逐步扩大，也曾移师美洲、欧洲等地举办。早年发布在NIPS中的论文包罗万象，从单纯的工程问题到使用计算机模型来理解生物神经元系统等各种主题。但现在论文的主题主要以机器学习，人工智能和统计学为主。在各种学术会议统计中，NIPS被认为有着很强的影响力和很高的排名。
今年的NIPS会议在文章收录结果仅仅公布10天之后，官方数据显示注册名额已满。为了让更多的同学能够具体了解NIPS的学术成果，数据派联合科技媒体雷锋网于9月24日下午在双清大厦举办“GAIR 大讲堂-NIPS清华专场”的论文分享活动。本次活动邀请到了5位NIPS 2017入选论文作者讲解各自的论文，同时分享他们投递论文的心得，相信他们的分享能够对广大同学们如何发Paper 起到重要帮助！
后台回复关键词“NIPS”，下载NIPS最佳论文及完整版嘉宾演讲PPT。
陆洲现场图
第一位分享的嘉宾是北京大学数学科学学院大四本科生陆洲，分享题目是从宽度来看神经网络的表达能力（The expressive power of neural networks : A view from the width）
他表示最近虽然有很多神经网络表达能力的相关研究工作，但多数注重于深度如何影响表达能力。
而这篇论文则从宽度入手，分别从宽度带来的相变，以及宽度与深度对效率的影响来做实验，得到了关于神经网络表达能力的新结果。
他认为，研究深度学习表达能力，有助于我们对于给定任务，选择较优的网络框架。也是数学上解释深度学习的必要一环。
邓志杰现场图
第二位分享嘉宾是清华大学计算机系人智所博士生邓志杰，分享主题为：结构化生成对抗网络（Structured Generative Adversarial Networks）
研究工作是基于指定语义或结构信息的条件产生式建模。现有的模型在搭建条件生成器时，往往需要大量的标注数据作为监督信号，而且不能够准确地对生成样本的语义信息加以控制。
因此他们提出结构化生成对抗网络(SGAN) 来解决半监督条件产生式建模这个问题。
SGAN 假设数据 x 基于两个独立的隐变量 y 和 z 来生成： y 编码了指定的语义信息，z 包含其他的可变因素。SGAN 的训练要解决两个对抗游戏，它们能够保证模型中各部分收敛到数据的真实联合分布p(x, y)和p(x, z)。为了确保 y 和 z 的解耦和，SGAN 搭建了两个合作游戏，它们在隐空间上最小化重建误差。
他们进行了大量的实验来评估结构化生成对抗网络。实验表明 SGAN 能够学习出一个高度可控的条件生成器，以及数据的解耦和的表示。
SGAN 在半监督分类任务的多个数据集上都取得了很好的实验结果。得益于对 y 和 z 的分开建模，SGAN 能够生成高质量并且严格遵循指定语义的样本。此外，SGAN 还能被扩展来进行一些有趣的实验，包括图像演化和图像风格迁移。
陈键飞现场图
第三位分享嘉宾是清华大学计算机系人智所博士生陈键飞，分享主题是：样本匹配差异及其在深度学习中的应用（Population Matching Discrepancy and Applications in Deep Learning）
两个概率分布之间可导的距离估计是对很多深度学习任务重要的问题。其中一种距离估计是最大平均差异（MMD）。
但是MMD有对核半径敏感、梯度弱以及用于训练目标时mini batch过大等问题。
论文中的分享围绕这一问题，介绍了他们在NIPS 2017上提出的样本匹配差异（PMD）。
他们提出了PMD作为分布之间距离的估计，并提出了用PMD作为目标函数时学习分布参数的算法。PMD定义成两分布样本构成的二分图的最小匹配，证明了PMD是Wasserstein度量的强一致估计量。
实验中将PMD用于了两个深度学习问题，包括领域自适应和训练产生式模型。结果表明PMD克服了上述MMD的不足，并在效果和收敛速度上都超过了MMD。
汪跃现场图
第四位嘉宾是北京交通大学理学院博士生汪跃，分享主题是：马尔科夫情形下的GTD 策略评估算法有限样本误差分析 （Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting）
汪跃说自己虽然是数学专业，但是特别喜欢跟应用结合的相关领域。曾经做过一段时间与脑科学有关的影像遗传学方面的工作。最近感兴趣的方向主要集中在强化学习中的算法理论分析和算法设计等方面，以及优化算法相关的方向 。
策略评估是强化学习中一个重要的组成部分。策略评估的目标是估计给定策略的价值函数（从任一状态出发，依照给定的策略时，期望意义下未来的累计回报）。一个好的策略评估算法可以更准确的估计出当前策略的价值函数，并且有助于找到一个更好的策略。
当状态空间特别大或者是连续空间的时候，线性函数近似下的GTD策略评估算法非常常用。考虑到收集数据的过程非常耗费时间和代价，清楚的理解GTD算法在有限样本情况下的表现就显得非常重要。
之前的工作将GTD算法与鞍点问题建立了联系，并且在样本独立同分布和步长为定值的情况下给出了GTD算法的有限样本误差分析。但是，在实际的强化学习问题中，数据都是由马氏决策过程产生的，并不是独立同分布的。并且在实际中，步长往往也不一定是一个定值。
这篇论文中首先证明了在数据来自于马尔科夫链的情况下，鞍点问题的期望意义下和高概率意义下的有限样本误差，进而得到了更接近于实际情形下的GTD的算法的有限样本误差分析。从结果中可以看到， 在实际中的马尔科夫的情形下：
GTD算法确实依然收敛；
收敛的速率依赖于步长的设定和马尔科夫链的混合时间这一属性；
通过混合时间的角度解释了经验回放这一技巧的有效性，其有效性可以理解成缩短了马尔科夫链的混合时间。
单小涵现场图
第五位分享嘉宾是中国科学院计算技术研究所博士生单小涵，分享主题是：带有ε-近似次模阈值函数的影响力最大化问题（Influence Maximization with epsilon-Almost Submodular Threshold Function ）
她分享的主要是社交网络影响力最大化算法研究。影响力最大化旨在从社交网络中选择K个种子节点，使得这k个种子节点通过传播产生的影响范围最大。这个问题已经被广泛研究，但是大多的工作专注于次模的影响力传播模型。然而许多现实的传播现象表明，在实际传播中非次模现象十分普遍。
分享开始时，她举了几个通俗的例子，介绍了目前几个用户规模较大的社交网络和三个经典的传播模型。
随后分别对三大传播模型的算法进行了介绍，而这篇论文的价值所在是作者在论文中提到了一种近次模函数，并以这类函数作为阈值，研究通用阈值模型下的影响力最大化问题。
实验结果：
活动现场图
嘉宾演讲完的提问环节，同学们表现非常踊跃积极，收获满满
内容分享结束后，几位嘉宾还同时分享了他们在顶会上发论文的心得与体会。在最后的问答环节中，现场有很多刚刚入学的研究生，就学习、未来学术研究方向以及怎样才能进到像微软亚研这样的大企业实习等方面遇到的问题请教了几位嘉宾，他们都耐心给出了解答，广大在场的同学们都收获良多。以上就是GAIR大讲堂NIPS清华专场5位嘉宾分享的全部内容。
后台回复关键词“NIPS”，下载NIPS最佳论文及完整版嘉宾演讲PPT。
