算法稳定性理论(algorithmic stability theory)与泛化误差(generalization error)

在衡量机器学习模型的效用（比如 优化误差、泛化误差 等，我们在这里把这些东西统称为“效用”）的时候，优化和泛化理论 是很重要的工具，用来分析差分隐私模型的各种风险界（像 population risk 和 empirical risk)。

其中，在分析泛化误差的时候，算法稳定性理论，algorithmic stability theory 在近几年很受研究者关注，因为它是 算法相关 的，和传统复杂度理论、搜索空间那一套有点不太一样。

本文基于 Bousquet 2002年发表于 JMLR 上的文章 Stability and Generalization 对一些 稳定性定义 以及 它们与泛化误差之间的关系 进行介绍，构建一个稳定性理论基本框架。

本文试图对稳定性理论进行扫盲式科普，因此不对证明细节进行关注，有兴趣的朋友们可以参考原论文（在网上应该很容易就能找到，如果有朋友找不到还有兴趣的话可以私信我把文章发过去），也欢迎大家一起讨论。

【一】背景

在介绍各种算法稳定性指标之前，我们首先大概了解一下稳定性究竟是个什么样的东西。

算法稳定性实质上是一种 敏感度（sensitivity），它表征了输入的变化会在多大程度上导致系统输出的变化。
举个例子，假设损失函数在参数 $\theta ,{\theta }^{\prime }$上的值分别为 $\ell (\theta ),\ell ({\theta }^{\prime })$，那么就可以（粗浅地）定义其敏感度为$|\ell (\theta )-\ell ({\theta }^{\prime })|$，这个值表征了 输入对损失函数值的影响（在这里我们只是举个例子，更细致的定义我们会在后文进行介绍）。

有了这个东西我们就可以发现，算法稳定性（敏感度）这个东西是与算法相关的，因为 $\theta ,{\theta }^{\prime }$ 可以看作算法输出的模型参数。
这就是稳定性理论与传统的复杂度理论不同的地方，复杂度理论关注整个搜索空间（函数空间），这个空间可能非常大，会导致求解出来的泛化误差同样很大。

接下来，我们面临的一个问题就是，对于一个算法，如何定义 $\theta$ 和 ${\theta }^{\prime }$。

【二】基本定义

首先定义样本规模为 $m$ 的训练数据集 $S$，其中的数据样本 $z_i=(x_i,y_i)$ 独立同分布采样于分布 $D$：

然后定义 移除和置换 数据点 $z_i$ 的数据集：

其中 $z_i^{\prime }$ 也是从分布 $D$ 中采样并与 $S$ 无关。

此外，为了度量算法的性能，定义如下指标：

期望误差（也就是我们平时所说的 population risk）：
$$R(A,S)={\mathbb{E}}_z[\ell (A_S,z)],$$其中 $A_S$ 是算法 $A$ 在数据集 $S$ 上训练得到的模型。

然而，这个误差 $R$ 并不能计算，因为分布 $D$ 通常是未知的，因此需要定义基于可达数据集 $S$ 的测度：
$$R_{emp}(A,S)=\frac{1}{m}\sum _{i=1}^m\ell (A_S,z_i).$$

此外，传统上还有 leave-one-out （这个东西我实在不知道怎么翻译）定义：

（如果有朋友知道该怎么打出来\i并不吝赐教，博主不胜感激）

为了简单起见，后文将用如下的记号对上面介绍的三个定义进行简化：
$$\begin{gathered} R=R(S)=R(A,S) \\ {R}_{emp}=R_{emp}(S)=R_{emp}(A,S) \\ {R}_{loo}=R_{loo}(S)=R_{loo}(A,S) \end{gathered}$$

有了上面的定义，我们接下来就可以定义学习算法的稳定性了。

【三】算法稳定性

1. 假设稳定性（Hypothesis Stability）

假设稳定性定义了在 原数据集 和 leave-one-out 数据集 上学习得到的模型参数之间的差别（损失函数上的差别上界：几乎所有的稳定性定义都在界定上界），这个差别定义在对数据集 $S$ 和所取点 $z$ 的期望上。

很容易可以发现，如上文所说，这个定义就是损失函数的一种敏感度，输入上的不同体现在参数上：是用原数据集训练得到的参数，还是用 leave-one-out 数据集训练得到的参数。

2. 单点假设稳定性（Pointwise Hypothesis Stability）

定义和上文中的假设稳定性类似，只是在计算损失函数敏感度的时候，将数据点取为 $z_i$ ：恰好是数据集差异的那一个数据样本。

3. 误差稳定性（Error Stability）

相比于上面的两种稳定性定义，误差稳定性更弱，通过简单的期望和绝对值变换就能得到：
$$|\mathbb{E}[\ell (\theta ,z)]-\mathbb{E}[\ell ({\theta }^{\prime },z)]|=|\mathbb{E}[\ell (\theta ,z)-\ell ({\theta }^{\prime },z)]|\le \mathbb{E}[|\ell (\theta ,z)-\ell ({\theta }^{\prime },z)|],$$把相应参数带入给 $\theta ,{\theta }^{\prime }$ 就能发现 假设稳定性是能推出误差稳定性的。

4. 一致稳定性（Uniform Stability）

在 Stability and Generalization 这篇文章里，一致稳定性是这样定义的，里面涉及到的无穷范数 $\Vert \cdot {\Vert }_{\infty }$ 其实就是对所有数据点 $z$ 取最大值。
可以看到，一致稳定性并没有进行 取期望 这一项操作，因此它是上面这几种稳定性里面 最强 的定义。

根据定义，我们可以得到： 一致稳定性 $\Rightarrow$ 假设稳定性 $\Rightarrow$ 误差稳定性。

【题外话】
一致稳定性 Uniform Stability 是后面很多工作里重点研究的对象，因为它定义最严苛，也可以得到更优的泛化理论结果。
后来，研究者基于一致稳定性的概念提出了 一致参数稳定性（Uniform Argument Stability），定义在参数上，即：
$$\Vert A_S-A_S^{-i}{\Vert }_2\le \beta ,$$其中 $\Vert \cdot {\Vert }_2$ 表示二范数（实在是打不出反斜杠所以用$-i$代替了呜呜呜）。

根据 $G$-Lipschitz 连续性的定义，可以很容易地推导出： $\beta$-一致参数稳定性 $\Rightarrow$ $G\beta$-一致稳定性

【题外话中题外话】
Lipschitz 连续性定义如下：
若损失函数 $\ell (\theta ,z)$ 对任意 ${\theta }_1,{\theta }_2,z$ 满足：
$$|\ell ({\theta }_1,z)-\ell ({\theta }_2,z)|\le G\Vert {\theta }_1-{\theta }_2{\Vert }_2,$$则称损失函数 $\ell (\theta ,z)$ 满足 $G$-Lipschitz 连续性。

Lipschitz 连续性确定了损失函数梯度的上界，即：对任意 $\theta ,z$，$\Vert {\nabla }_{\theta }\ell (\theta ,z){\Vert }_2\le G$。

有了这个定义，上面提到的一致参数稳定性和一致稳定性之间的关系就一目了然了。
【题外话结束】

【四】稳定性与泛化误差

有了上述的几个稳定性条件，本文给出了基于 假设稳定性 和 一致稳定性 的泛化误差界，这里选了两个具有代表性的结果分别在下面的 Theorem 11 和 Theorem 12 中给出：


上面提到的这两个定理中，$R-R_{emp}$ 就是泛化误差。

两个定理的证明都用到了一些中心不等式（比如 Chebyshev，McDiarmid 不等式等），有兴趣的朋友们可以参看 Stability and Generalization 论文原文，在这里我们不展开介绍，只看这两个结果。

我们可以看到，假设稳定性给出的高概率结果是 多项式级别 收敛的（Theorem 11 中的 $1/\delta$）；而一致稳定性给出的高概率结果是 指数级别 收敛的（Theorem 12 中的 $\ln (1/\delta )$），因此后者给出了更好的理论结果。

除此之外，我们可以发现上面两个定理都需要比较小的稳定性系数才能保证泛化误差结果是有意义的（特别是 Theorem 12，里面存在一项 $m\beta$），比如 $\beta =\mathcal{O}(1/m)$。
在这样的情况下，泛化误差才能达到 $\mathcal{O}(1/\sqrt{m})$ 这样的一个量级。

【五】其他

本文还给出了一些例子证明在很多模型中，稳定性系数都能保证是小于或等于 $\mathcal{O}(1/m)$ 的，以保证上文中的claims有意义，在这里我们不对其进行细致讨论，感兴趣的朋友们可以参看 Stability and Generalization 原文。

此外，本文并没有针对 误差稳定性 分析得到的泛化误差结果，原因是这样的：
如上文中提到的，误差稳定性是很弱的一个稳定性定义，因此 没有办法保证算法 $A$ 的泛化误差随着训练样本量 $m$ 趋于无穷而减小至0（这是 Kutin, Niyoogi 在2012年的一篇论文 Almost-everywhere algorithmic stability and generalization error 中提到的）。
因此本文并没有给出基于误差稳定性的泛化误差结果。

本人目前所研究的领域也是差分隐私方向的优化和泛化，欢迎大家在 差分隐私 和 优化泛化理论 两个方向一同交流、讨论。

如果本文中某些表述或理解有误，欢迎各位大神批评指正。
谢谢！