NIPS 2017 深度学习论文集锦 (3)

本篇文章基于上述两篇，故论文编号沿用上两篇的编号

[41] Premise Selection for Theorem Proving by Deep Graph Embedding 

Mingzhe Wang, Yihe Tang, Jian Wang, Jia Deng

https://papers.nips.cc/paper/6871-premise-selection-for-theorem-proving-by-deep-graph-embedding.pdf

本文将深层图嵌入模型用于定理证明中的前提选择。

[42] A Bayesian Data Augmentation Approach for Learning Deep Models 

Toan Tran, Trung Pham, Gustavo Carneiro, 

Lyle Palmer, Ian Reid

https://papers.nips.cc/paper/6872-a-bayesian-data-augmentation-approach-for-learning-deep-models.pdf

本文针对深度模型（GAN的扩展）提出一种基于贝叶斯方法的数据扩展方法。

整体流程如下

各种网络结构比较如下

相关代码地址

https: //github.com/toantm/keras-bda

https://github.com/lukedeo/keras-acgan

[43] Convolutional Gaussian Processes 

Mark van der Wilk, Carl Edward 

Rasmussen, James Hensman

https://papers.nips.cc/paper/6877-convolutional-gaussian-processes.pdf

这篇文章将卷积融入到高斯过程中。

代码地址

https://github.com/markvdw/convgp

[44] Deep Recurrent Neural Network-Based Identification of Precursor

microRNAs 

Seunghyun Park, Seonwoo Min, Hyun-Soo Choi, Sungroh Yoon

https://papers.nips.cc/paper/6882-deep-recurrent-neural-network-based-identification-of-precursor-micrornas.pdf

这篇文章将深层RNN用于前体微RNA识别。

网络结构如下

各方法效果比较如下

代码地址

https://github.com/eleventh83/deepMiRGene

[45] Deep Voice 2: Multi-Speaker Neural Text-to-Speech

Andrew Gibiansky, Sercan Arik, Gregory Diamos, John Miller, Kainan Peng, Wei Ping, Jonathan Raiman, Yanqi Zhou

https://papers.nips.cc/paper/6889-deep-voice-2-multi-speaker-neural-text-to-speech.pdf

这篇论文基于Deep Voice 1提出Deep Voice2，主要处理的问题是将多个说活人的文本转成语音。

网络结构如下

各模型效果比较如下

[46] Deep Lattice Networks and Partial Monotonic Functions 

Seungil You, David Ding, Kevin Canini, 

Jan Pfeifer, Maya Gupta

https://papers.nips.cc/paper/6891-deep-lattice-networks-and-partial-monotonic-functions.pdf

这篇文章主要关于深层格子网络和局部单调函数

网络结构示例如下

各模型结果比较如下

[47] Continual Learning with Deep 

Generative Replay 

Hanul Shin, Jung Kwon Lee, Jaehong Kim, Jiwon Kim

https://papers.nips.cc/paper/6892-continual-learning-with-deep-generative-replay.pdf

模型示例如下

[48] Hierarchical Attentive Recurrent 

Tracking 

Adam Kosiorek, Alex Bewley, 

Ingmar Posner

https://papers.nips.cc/paper/6898-hierarchical-attentive-recurrent-tracking.pdf

这篇论文主要关于分层注意力递归模型，用于视频中的单个物体追踪。

网络结构如下

各算法效果比较

代码地址

https://github.com/akosiorek/hart

[49] Shallow Updates for Deep 

Reinforcement Learning

Nir Levine, Tom Zahavy, Daniel J. Mankowitz, Aviv Tamar, Shie Mannor

https://papers.nips.cc/paper/6906-shallow-updates-for-deep-reinforcement-learning.pdf

这篇论文将线性最小二乘跟深度强化学习结合。

算法流程如下

代码地址

https://github.com/Shallow-Updates-for-Deep-RL

[50] Net-Trim: Convex Pruning of Deep Neural Networks with Performance

Guarantee 

Alireza Aghasi, Afshin Abdi, Nam Nguyen,

Justin Romberg

https://papers.nips.cc/paper/6910-net-trim-convex-pruning-of-deep-neural-networks-with-performance-guarantee.pdf

这篇文章主要讨论如何通过凸优化对深度神经网络进行剪枝，即减少连接权重，同时保证模型效果。

算法流程如下

代码地址

https://github.com/DNNToolBox/Net-Trim-v1

[51] Wasserstein Learning of Deep 

Generative Point Process Models 

SHUAI XIAO, Mehrdad Farajtabar, 

Xiaojing Ye, Junchi Yan, Le Song, 

Hongyuan Zha

https://papers.nips.cc/paper/6917-wasserstein-learning-of-deep-generative-point-process-models.pdf

这篇论文将点过程跟深层生成模型融合。

算法步骤如下

代码地址

https://github.com/xiaoshuai09/Wasserstein-Learning-For-Point-Process

[52] Bayesian Compression for 

Deep Learning

Christos Louizos, Karen Ullrich, 

Max Welling

https://papers.nips.cc/paper/6921-bayesian-compression-for-deep-learning.pdf

这篇论文将贝叶斯压缩用于深度学习中。

各方法对比如下

[53] VEEGAN: Reducing Mode Collapse in GANs using Implicit Variational Learning

Akash Srivastava, Lazar Valkoz, Chris Russell, Michael U. Gutmann, Charles Sutton

https://papers.nips.cc/paper/6923-veegan-reducing-mode-collapse-in-gans-using-implicit-variational-learning.pdf

这篇论文讨论利用隐含变分学习来减轻GAN中的模式丢失问题。

训练流程示例如下

各算法效果对比如下

[54] Deep Sets 

Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R. Salakhutdinov, Alexander J. Smola

https://papers.nips.cc/paper/6931-deep-sets.pdf

这篇论文基于集合提出一种新的深度学习算法。

各算法效果对比如下

[55] Spherical convolutions and their application in molecular modelling 

Wouter Boomsma, Jes Frellsen

https://papers.nips.cc/paper/6935-spherical-convolutions-and-their-application-in-molecular-modelling.pdf

这篇论文研究了如何在球面上做卷积

球体卷积示例如下

各算法效果对比如下

代码地址

https://github.com/deepfold

[56] Concrete Dropout 

Yarin Gal, Jiri Hron, Alex Kendall

https://papers.nips.cc/paper/6949-concrete-dropout.pdf

这篇论文提出了一种新的dropout策略。

各策略效果对比如下

代码地址

https://github.com/yaringal/ConcreteDropout

[57] Bayesian GAN 

Yunus Saatci, Andrew G. Wilson

https://papers.nips.cc/paper/6953-bayesian-gan.pdf

这篇文章基于随机梯度哈密尔顿蒙特卡洛方法提出了贝叶斯GAN。

算法流程如下

各算法效果对比如下

代码地址

https://github.com/andrewgordonwilson/bayesgan

[58] Sparse convolutional coding for neuronal assembly detection 

Sven Peter, Elke Kirschbaum, 

Martin Both, Lee Campbell, 

Brandon Harvey, Conor Heins,

Daniel Durstewitz, Ferran Diego, Fred A. Hamprecht

https://papers.nips.cc/paper/6958-sparse-convolutional-coding-for-neuronal-assembly-detection.pdf

这篇文章提出了一种稀疏卷积编码网络。

卷积编码示例如下

各算法效果对比如下

代码地址

https://github.com/sccfnad/Sparse-convolutional-coding-for-neuronal-assembly-detection

[59] Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks 

Federico Monti, Michael Bronstein, Xavier Bresson

https://papers.nips.cc/paper/6960-geometric-matrix-completion-with-recurrent-multi-graph-neural-networks.pdf

这篇论文主要讨论图上的几何深度学习，结合了多图卷积神经网络和循环神经网络。

网络结构如下

算法流程如下

各算法效果对比如下

代码地址

https://github.com/fmonti/mgcnn

[60] Interpolated Policy Gradient: Merging On-Policy and Off-Policy 

Gradient Estimation for Deep 

Reinforcement Learning 

Shixiang Gu, Tim Lillicrap, Richard E. Turner, Zoubin Ghahramani, Bernhard Schölkopf, Sergey Levine

https://papers.nips.cc/paper/6974-interpolated-policy-gradient-merging-on-policy-and-off-policy-gradient-estimation-for-deep-reinforcement-learning.pdf

这篇论文将on-policy和off-policy结合用于深度强化学习。

算法流程如下