【读书笔记】NeurIPS2018的两篇文章：The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations

今天看了 NeurIPS 2018 上的两篇文章，一篇是获得 best paper 的 Neural Ordinary Differential Equations （陈天奇的文章），一篇是获经典论文奖的 The Tradeoffs of Large Scale Learning。

The Tradeoffs of Large Scale Learning

Bottou, Léon, and Olivier Bousquet. “The tradeoffs of large scale learning.” Advances in neural information processing systems. 2008.

Abstract

本文研究不同的近似优化算法对学习算法的影响。Small-scale learning problems 受到 approximation–estimation 的影响，Large-scale learning problems 受到优化算法计算复杂度的影响。

Motivation

计算复杂度在学习算法中的有重要的意义，但很少被提及。Valiant 强调一个问题是可学习的，如果一个算法能在多项式复杂度内解决它。但是这只是在统计意义上的解决。
本文发现近似优化算法完全可以满足学习要求，而且降低计算复杂度。

Approximate Optimization

Setup

优化算法优化的对象是
$$E(f)=\int l(f(x),y)dP(x,y)=E[l(f(x),y)]$$

也就是要求解
$$f^{\ast }=argmi{n}_{f}E[l(\hat{y},y)|x]$$

尽管$P(x,y)$未知，我们可以随机独立采样得到$n$个数据来做训练数据，定义经验误差
$$E_n(f)=\frac{1}{n}\sum _{i=1}^{n}l(f(x_i),y_i)=E_n[l(f(x_i),y_i)]$$

我们的学习过程实际上是根据训练数据从一组函数$F$内选择出函数$f_n=argmi{n}_f{E}_n[f]$，定义$f^{\ast }$为所有可能的最优的函数（可能不在$F$中），在定义$f_F^{\ast }=argmi{n}_{f}E[f]$为$F$中最优的函数，那么我们有：
$$E[E(f_n)-E(f^{\ast }]]=E[E(f_F^{\ast })-E(f^{\ast })]+E[E(f_n)-E(f_F^{\ast })]=e_{app}+e_{est}$$

$e_{app}$表示 approximation error（$F$与最优解的差距），$e_{est}$表示 estimation error（由于训练数据和优化算法得到的函数与$F$内最优函数的差距）。复杂的模型导致大的$F$，大的$F$导致小的 approximation error 而导致大的 estimation error。

Optimization Error

找到最优的$f_n$需要很复杂的计算，而我们不需要找到最优的$f_n$，因为$E_n(f)$本身就是近似的，所以我们可以在优化算法收敛前提前终止迭代。
假设我们得到的近似解为${\hat{f}}_n$满足
$$E_n({\hat{f}}_n)<E_n(f_n)+\rho$$

$\rho$是预先定义的 tolerance，那么
$$E[E({\hat{f}}_n)-E(f^{\ast }]]=E[E(f_F^{\ast })-E(f^{\ast })]+E[E(f_n)-E(f_F^{\ast })]+E[E({\hat{f}}_n)-E(f_n)]=e_{app}+e_{est}+e_{opt}$$

就多出一个 optimization error $e_{opt}$。

The Approximation–Estimation–Optimization Tradeoff

对于整个问题而言，我们需要优化的是
$$mi{n}_{F,\rho ,n}e=e_{app}+e_{est}+e_{opt},s.t.n\le n_{max},T(F,\rho ,n)\le T_{max}$$

$n_{max}$表示最大的可用数据量，$T_{max}$表示能够训练的最长时间。
所谓 Small-scale learning problems 是指主要收到$n_{max}$的限制，计算复杂度不成问题，$e_{opt}$可以减少为0；而 Large-scale learning problem 主要受到$T_{max}$的限制，我们需要选择合适$\rho$来简化计算。


GD：梯度下降法
2GD：二阶梯度下降法（牛顿法）
SGD：随机梯度下降法
2SGD：二阶随机梯度下降法

The Asymptotics of Large-scale Learning

涉及到优化算法的收敛速度的相关理论知识

Conclusion

本文主要思想是考虑数据量较大时对于时间的权衡，我的理解是从理论上给予了随机梯度下降和梯度下降选择的依据。

Neural Ordinary Differential Equations

Chen, Tian Qi, et al. “Neural Ordinary Differential Equations.” arXiv preprint arXiv:1806.07366 (2018).

引入了一种新型的神经网络，区别于过去的多个离散层的神经网络，我们的神经网络时各黑箱的微分方程的求解器。这种连续深度的神经网络优势是只需要花费恒定的内存，并且可以显式地以数值精度换取速度。构建 continuous normalizing flows 从而可以通过最大似然进行训练、无需对数据维度进行分区或排序。对于训练，我们展示了如何在不访问任何ODE求解器内部操作的情况下，可扩展地反向传播。这允许在更大的模型中对ODE进行端到端训练。

思路是常规的 ResNet 相当于
$$h_{t+1}=ht+f(h_t,{\theta }_t)$$

可以看作是一个微分方程的 Euler 迭代求解。如果用更多的层数和更小的步长，可以化为
$$\frac{dh}{dt}=f(h(t),t,\theta )$$

根据流体力学的一些结论，推导出了微分方程的解法，细节没有仔细看，逛了逛知乎，发现 https://zhuanlan.zhihu.com/p/51514687 上有人也有类似的想法，并且也有一些列的工作，感觉挺有趣的。主要思想是把常规的离散形式的神经网络转化为 ODE 进行训练和分析：

• ResNet- ODE的前向欧拉格式
• PolyNet- ODE的反向欧拉格式的逼近
• FractalNet-ODE的Runge-Kutta 格式

感觉跟跟我的老本行有点像，有空好好研究一下。