【机器学习数学基础-周志华】重要概念总结

第01题 拉格朗日对偶

题目

给出数学优化模型$$\begin{array}{rl}& minf(x)\\ & \begin{array}{rl}s.t.& g(x)\le 0\\ & h(x)=0\end{array}\end{array}$$的拉格朗日函数、拉格朗日对偶函数、对偶优化模型的定义和数学表达，并证明若原始模型的最优值为p，对偶模型的最优值为d，那么一定有
$$d\le p.$$

答案

将原问题定义标为公式(1.1)的定义域记为$\psi$,$x=(x_1,x_2,...,x_d)\in {\mathbb{R}}^d$为$d$维优化向量，设有$m$个不等式约束和$n$个等式约束。

$Define1$ 拉格朗日函数：对原优化问题(1.1)，针对不等式约束$g(x)\le 0$引入拉格朗日乘子$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_m)$，针对等式约束$h(x)=0$引入拉格朗日乘子$\beta =({\beta }_1,{\beta }_2,...,{\beta }_n)$，相应的拉格朗日函数$L:{\mathbb{R}}^d\times {\mathbb{R}}^m\times {\mathbb{R}}^n\mapsto \mathbb{R}$为
$$L(x,\alpha ,\beta )=f(x)+{\alpha }^{T}g(x)+{\beta }^{T}h(x)$$

$Define2$ 拉格朗日函数对偶函数$\Gamma :{\mathbb{R}}^m\times {\mathbb{R}}^n\mapsto \mathbb{R}$为：
$$\begin{array}{rl}\Gamma (\alpha ,\beta )& =\underset{x\in \psi }{\inf }L(x,\alpha ,\beta )\\ & =\underset{x\in \psi }{\inf }(f(x)+{\alpha }^{T}g(x)+{\beta }^{T}h(x))\end{array}$$

$Define3$ 对偶优化模型：
$$\underset{\alpha ,\beta }{\max }\Gamma (\alpha ,\beta )s.t.\alpha \ge 0.$$，其中$\alpha$和$\beta$称为对偶变量。

证明$d\le p$：由原问题定义可知，对于任意$\alpha \ge 0$，都有
$$\begin{array}{r}{\alpha }^{T}g(x)\le 0\\ {\beta }^{T}h(x)=0\end{array}$$,对于$\forall \tilde{x}\in \psi ,$有
$$\begin{array}{rl}\Gamma (\alpha ,\beta )& =\underset{x\in \psi }{\inf }(L(x,\alpha ,\beta )=f(x)+{\alpha }^{T}g(x)+{\beta }^{T}h(x))\\ & \le \underset{x\in \psi }{\inf }(f(x))=minf(x)=:p\end{array}$$
于是对任意$\alpha \ge 0$都有
$$\Gamma (\alpha ,\beta )\le max\Gamma (\alpha ,\beta )=:d\le p$$，即对偶函数给出了主问题目标函数最优值的下界。

第02题 最大间隔模型

题目

描述二分类问题的设定，构建支持向量机的经典的最大间隔模型，并计算其对偶模型。

答案

描述：二分类问题即给定一个样本作为输入，输出的结果只有两种：该样本为正样本或该样本为负样本。
最大间隔模型构建：
给定训练集$D=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$，$y_i\in \left\{-1,+1\right\},$支持向量机试图找到恰好位于两类训练样本“正中间”的划分超平面：$w^{T}x+b=0$
样本点$x_i$到超平面$w^{T}x+b=0$的距离为$d(x_i)$
$$d(x_i)=\frac{\left|w^T{x}_i+b\right|}{\Vert w\Vert }=\frac{y_i(w^T\cdot x_i+b)}{\Vert w\Vert }$$
距离超平面最近的几个训练样本为支持向量，两异类支持向量到超平面的距离之和$\frac{2}{\Vert w\Vert }$为间隔，记为$r$
最大间隔模型
$$\begin{array}{rl}& maxr=d_{min}^{-}+d_{min}^{+}\\ & s.t.d_{min}^{-}=d_{min}^{+}\\ & y_i(w^T{x}_i+b)>0\end{array}$$由前知，$d=\frac{y_i(w^T{x}_i+b)}{\Vert w\Vert }$，存在一个$ϵ>0$，满足$y_i(w^T{x}_i+b)\ge ϵ$，所求最大间隔转化为
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{2ϵ}{\Vert w\Vert }\\ & s.t.y_i(w^T{x}_i+b)\ge ϵ,\forall x_i\end{array}$$令$\hat{w}=\frac{w}{ϵ}$，$\hat{b}=\frac{b}{ϵ}$得
$$\begin{array}{rl}& \underset{\hat{w},\hat{b}}{\min }\frac{{\Vert \hat{w}\Vert }^2}{2}\\ & s.t.y_i({\hat{w}}^T{x}_i+\hat{b})\ge 1\end{array}$$令其拉格朗日函数为
$$\mathcal{L}(\hat{w},\hat{b},\alpha )=\frac{{\Vert w\Vert }^2}{2}+\sum _{i=1}^m{\alpha }_i(1-y_i({\hat{w}}^T\cdot x_i+\hat{b}))$$
其中$m$为样本个数，$\alpha ={\left[{\alpha }_1,{\alpha }_2,...,{\alpha }_m\right]}^T,{\alpha }_i\ge 0,m>0$
令$\mathcal{L}(\hat{w},\hat{b},\alpha )$对$\hat{w}$和$\hat{b}$的偏导为0，可得
$$\{\begin{array}{cc}{\sum }_{i=1}^m{\alpha }_i\cdot y_i\cdot x_i=\hat{w}& ①\\ {\sum }_{i=1}^m{\alpha }_i\cdot y_i=0& ②\end{array}$$将①代入拉格朗日函数$\mathcal{L}(\hat{w},\hat{b},\alpha )$，并考虑②的约束，即得原问题的对偶问题
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i\cdot {\alpha }_j\cdot y_i\cdot y_j\cdot x_i^T\cdot x_j-\sum _{i=1}^m{\alpha }_i\\ & s.t.\sum _{i=1}^m{\alpha }_i\cdot y_i=0\\ & {\alpha }_i\ge 0(i\in [m])\end{array}$$
上述过程满足KKT条件
$$\{\begin{array}{rl}& \sum _{i=1}^m{\alpha }_i\cdot y_i\cdot x_i=\hat{w}\\ & \sum _{i=1}^m{\alpha }_i\cdot y_i=0\\ & {\alpha }_i\ge 0\\ & y_i({\hat{w}}^T\cdot x_i+\hat{b})-1\ge 0\\ & {\alpha }_i(y_i({\hat{w}}^T\cdot x_i+\hat{b})-1)=0\end{array}$$

第03题 不可知PAC可学

题目

给出不可知PAC可学的定义，要求给出每一个要素的数学表达

答案

首先给出不可知PAC可学的相关要素数学表达。

1. 考虑样本空间$\mathcal{X}$和标记空间$\mathcal{Y}$;
2. $x$:给定样本集$S=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$，$x_i\in \mathcal{X}$;
3. $\mathcal{D}$:假设$\mathcal{D}$是$\mathcal{X}\times \mathcal{Y}$上的联合分布，$S$中所有样本都是独立同分布从$\mathcal{D}$采样而得;
4. $c$:令$c$表示概念，是从样本空间$\mathcal{X}$到标记空间$\mathcal{Y}$的映射，决定样本$x$的真实标记$y$;
5. $\mathfrak{L},\mathcal{H},h$：给定学习算法$\mathfrak{L}$，它所考虑的所有可能概念的集合成为假设空间（hypothesisspace），用符号$\mathcal{H}$表示。对$h\in \mathcal{H}$，由于学习算法事先不知道它是否真是目标概念，因此称为假设。
6. $E(h)$:令$h$为从$\mathcal{X}$到$\mathcal{Y}$的一个映射，其泛化误差（generalization error）为 $$E(h;\mathcal{D})=P_{(x,y)\sim \mathcal{D}}(h(x)\ne y)={\mathbb{E}}_{(x,y)\sim \mathcal{D}}\left[\mathbb{I}(h(x)\ne y)\right],$$其中$\mathbb{I}(x)$表示判断函数;
7. $ϵ,\delta$:$ϵ$为假设的精度，为$E(h)$的上限，即$E(h)\le ϵ$，通常用$ϵ$表示预先设定的学得模型所应满足的误差要求，亦称误差参数.$\delta$为置信度，一般取$\delta =2exp(-2m{ϵ}^2)$。

有时$c\notin \mathcal{H}$，即学习算法无法学得目标概念的$ϵ$近似，但必存在一个泛化误差最小的假设，以此为目标可将PAC学习推广到$c\notin \mathcal{H}$的情况，称为不可知PAC学习。

$Define$ 不可知PAC可学：令$m$表示从分布$\mathcal{D}$独立分布采样得到的样本数目，$0<ϵ$，$\delta <1$，对所有分布$\mathcal{D}$，若存在学习算法$\mathfrak{L}$和多项式函数$poly(\cdot ,\cdot ,\cdot ,\cdot )$，使得对于任何$m\ge poly(1/ϵ,1/\delta ,size(x),size(c))$，$\mathfrak{L}$能从假设空间$\mathcal{H}$中输出满足(3.1)的假设$h$，
$$P(E(h)-\underset{h^{\prime }\in \mathcal{H}}{\min }E(h^{\prime })\le ϵ)\ge 1-\delta ,$$则称假设空间$\mathcal{H}$是不可知PAC可学的。

• 样本复杂度：满足PAC学习算法$\mathfrak{L}$所需的$m\ge poly(1/ϵ,1/\delta ,size(x),size(c))$中最小的$m$，称为学习算法$\mathfrak{L}$的样本复杂度。

第04题 二分类VC维

题目

给出二分类问题假设空间的VC维定义，要求详细给出每一个要素的数学表达

答案

首先给出与VC维定义相关要素的数学表达

1. $\mathcal{H},m$：令$\mathcal{H}$表示假设空间，其中的假设是从$\mathcal{X}$到$\mathcal{Y}=\left\{-1,+1\right\}$的映射，对于样本集$S=\left\{x_1,x_2,...,x_m\right\}\subset \mathcal{X}$，$\mathcal{H}$在样本集$S$上的限制是$S$从到${\left\{-1,+1\right\}}^m$的一族映射：$${\mathcal{H}}_{|S}=\left\{(h(x_1),...,h(x_m))|h\in \mathcal{H}\right\},$$其中$h$在$S$上的限制是一个$m$维向量。
2. ${\Pi }_{\mathcal{H}}(m)$：对$m\in \mathbb{N}$，假设空间$\mathcal{H}$的增长函数${\Pi }_{\mathcal{H}}(m)$表示为$${\Pi }_{\mathcal{H}}(m)=\underset{\left\{x_1,x_2,...,x_m\right\}\subset \mathcal{X}}{\max }\left|\left\{(h(x_1),...,h(x_m))|h\in \mathcal{H}\right\}\right|,$$对于大小为$m$的样本集$S$，有$${\Pi }_{\mathcal{H}}(m)=\underset{|S|=m}{\max }|{\mathcal{H}}_{|S}|$$
3. 对分&打散：对于二分类问题，对$m$个样本最多有个$2^m$可能的结果，假设空间$\mathcal{H}$中的假设对$S$中的样本赋予标记的每种可能结果称为对$S$的一种对分（dichotomy）。如果假设空间$\mathcal{H}$能实现样本集$S$上的所有对分，即$|{\mathcal{H}}_{|S}|=2^m$，则称样本集$S$能被假设空间$\mathcal{H}$打散，此时${\Pi }_{\mathcal{H}}(m)=2^m$。

$Define$ VC维:假设空间$\mathcal{H}$的VC维是能被$\mathcal{H}$打散的最大样本集的大小，即$$VC(\mathcal{H})=max\left\{m:{\Pi }_{\mathcal{H}}(m)=2^m\right\},$$$VC(\mathcal{H})=d$表明存在大小为$d$的样本集都能被假设空间$\mathcal{H}$打散。

第05题 Rademacher复杂度

题目

给出实数值函数空间的Rademacher复杂度的定义，要求详细给出每一个要素的数学表达。

答案

首先我们给出Rademacher复杂度的相关要素表达。

考虑实值函数空间$\mathcal{F}:\mathcal{Z}\mapsto \mathbb{R}$,令样本集$S=\left\{s_1,s_2,...,s_m\right\}$，其中$s_i\in \mathcal{Z}$.
给定数据集$S=\left\{(s_1,y_1),...,(s_m,y_m)\right\}$，$f\in \mathcal{F}$的经验误差为
$$\begin{array}{rl}\hat{E}(f)& =\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(s_i)\ne y_i)\\ & =\frac{1}{m}\sum _{i=1}^m\frac{1-y_{i}f(s_i)}{2}\\ & =\frac{1}{2}-\frac{1}{2m}\sum _{i=1}^m{y}_{i}f(s_i),\end{array}$$其中$\frac{1}{m}{\sum }_{i=1}^m{y}_{i}f(s_i)$体现了预测值$f(s_i)$与样本真实标记$y_i$之间的一致性。若$\forall i\in \left[m\right]$，$f(s_i)=y_i$，则$\frac{1}{m}{\sum }_{i=1}^m{y}_{i}f(s_i)$取得最大值1，也就是说具有最小经验误差的假设是
$$\underset{f\in \mathcal{F}}{argmax}\frac{1}{m}\sum _{i=1}^m{y}_{i}f(s_i),$$现实任务中样本的标记有时会受到噪声的影响，考虑随机变量${\sigma }_i$，它以0.5的概率取值+1，以0.5的概率取值-1,称其为Rademaher随机变量。基于${\sigma }_i$可将上述公式改写为$su{p}_{f\in \mathcal{F}}\frac{1}{m}{\sum }_{i=1}^m{\sigma }_{i}f(s_i)$。
对$\sigma =({\sigma }_1;...;{\sigma }_m)$，函数空间$\mathcal{F}$关于$S$的经验Rademacher复杂度为
$${\hat{\mathfrak{R}}}_S(\mathcal{F})={\mathbb{E}}_{\sigma }\left[\underset{f\in \mathcal{F}}{\sup }\frac{1}{m}\sum _{i=1}^m{\sigma }_{i}f(s_i)\right],$$
相较于给定的$S$，我们通常更加关心$S$服从分布$\mathcal{D}$时函数空间的复杂度。
因此，函数空间$\mathcal{F}$关于$\mathcal{Z}$在分布$\mathcal{D}$上的Rademacher复杂度为
$${\mathfrak{R}}_m(\mathcal{F})={\mathbb{E}}_{S\subset \mathcal{Z}:|S|=m}\left[{\hat{\mathfrak{R}}}_S(\mathcal{F})\right].$$*在Rademacher复杂度定义中，${\sigma }_i$是$\left\{-1,+1\right\}$上服从均匀分布的随机变量。

第06题 稳定性

题目

给出替换样本均匀稳定性、移除样本均匀稳定性、替换样本假设稳定性、移除样本假设稳定性的定义，要求详细给出每一个要素的数学表达。

答案

首先给出与算法稳定性定义相关的要素与表达。

1. 考虑样本空间$\mathcal{X}$和标记空间$\mathcal{Y}$;
2. 设$\mathcal{D}$是空间$\mathcal{X}\times \mathcal{Y}$上的一个联合分布;
3. 训练集$S=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$基于独立同分布采样所得，记$z=(x,y)$;
4. 有$z^{\prime }\sim \mathcal{D}$,为符合联合分布$\mathcal{D}$中一个样本$(x^{\prime },y^{\prime })\in \mathcal{X}\times \mathcal{Y}.$
5. 给定学习算法$\mathfrak{L}$，令${\mathfrak{L}}_S:\mathcal{X}\mapsto \mathcal{Y}$表示基于训练集$S$学习所得的输出函数，记输出函数对应的标记空间为${\mathcal{Y}}^{\prime }$;
6. 设损失函数$\ell :{\mathcal{Y}}^{\prime }\times \mathcal{Y}\mapsto {\mathbb{R}}_{+}$，对样本$z$有$\ell ({\mathfrak{L}}_S,z)=\ell ({\mathfrak{L}}_S(x),y)$;
7. 在稳定性研究中，一般考虑训练集$S$的两种扰动：移除样本和替换样本，其定义如下：
   7.1 $S^{\setminus i}$表示移除训练集$S$中第$i$个样本而得到的数据集，即$$S^{\setminus i}=\left\{z_1,z_2,...,z_{i-1},z_{i+1},...,z_m\right\}$$
   7.2 $S^{i,z_i^{\prime }}$表示将训练集$S$中第$i$个样本$z_i=(x_i,y_i)$替换为$z_i^{\prime }=(x_i^{\prime },y_i^{\prime })$所得的数据集，即$$S^{i,z_i^{\prime }}=\left\{z_1,z_2,...,z_{i-1},z_i^{\prime },z_{i+1},...,z_m\right\}$$

$Define1$ 替换样本均匀稳定性：对任意数据集$S$和样本$z,z^{\prime }\in \mathcal{X}\times \mathcal{Y}$ ，若学习算法$\mathfrak{L}$满足
$$\left|\ell ({\mathfrak{L}}_S,z)-\ell ({\mathfrak{L}}_{S^{i,z^{\prime }}},z)\right|\le \beta (i\in \left[m\right]),$$
则称算法$\mathfrak{L}$满足关于损失函数$\ell$的替换样本$\beta$-均匀稳定性.

$Define2$ 移除样本均匀稳定性：对任意数据集$S$和样本$z\in \mathcal{X}\times \mathcal{Y}$，若学习算法$\mathfrak{L}$满足
$$\left|\ell ({\mathfrak{L}}_S,z)-\ell ({\mathfrak{L}}_{S^{\setminus i}},z)\right|\le \gamma (i\in \left[m\right]),$$
则称算法$\mathfrak{L}$满足关于损失函数$\ell$的移除样本$\gamma$-均匀稳定性.

考虑到均匀稳定性要求对任意的数据集$S$和样本$z$有$Define1$ 或$Define2$成立,这是一个较强的条件.我们适当放松这个条件:对数据集$S$和样本$z$取期望,在期望条件下考虑训练集的扰动对算法输出函数的影响,就产生了如下的假设稳定性.

$Define3$ 替换样本假设稳定性(hypothesis stability)：若学习算法$\mathfrak{L}$满足
$${\mathbb{E}}_{S,z_i^{\prime }\sim {\mathcal{D}}^{m+1}}\left[\left|\ell ({\mathfrak{L}}_S,z)-\ell ({\mathfrak{L}}_{S^{i,z^{\prime }}},z)\right|\right]\le \beta (i\in \left[m\right]),$$
则称算法$\mathfrak{L}$满足关于损失函数$\ell$的替换样本$\beta$-假设稳定性.

$Define4$ 移除样本假设稳定性：若学习算法$\mathfrak{L}$满足
$${\mathbb{E}}_{S,z\sim {\mathcal{D}}^m}\left[\left|\ell ({\mathfrak{L}}_S,z)-\ell ({\mathfrak{L}}_{S^{\setminus i}},z)\right|\right]\le \gamma (i\in \left[m\right]),$$
则称算法$\mathfrak{L}$满足关于损失函数$\ell$的移除样本$\gamma$-假设稳定性.

第07题 hinge函数

题目

给出基于$hinge$函数的支持向量机、基于$ϵ$不敏感的支持向量回归、基于平方函数的岭回归三类模型的定义，要求详细给出每一个要素的数学表达。

答案

对样本空间$\mathcal{X}\subseteq {\mathbb{R}}^d$，标记空间$\mathcal{Y}=\left\{-1,+1\right\}$，以及训练集$D=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$，

给定样本$(x,y)\in \mathcal{X}\times \mathcal{Y}$和$w\in {\mathbb{R}}^d$，

$Define1$ 基于hinge函数的支持向量机
考虑hinge函数$${\ell }_{hinge}(w,(x,y))=max(0,1-y{w}^{T}x)$$目标函数
$$F_D(w)=\frac{1}{m}\sum _{i=1}^{m}max(0,1-y_i{w}^T{x}_i)+\lambda {\Vert w\Vert }^2$$其中$w\in {\mathbb{R}}^d$，$\lambda$为正则化参数。

$Define2$ 基于$ϵ$-不敏感函数的支持向量回归
考虑$ϵ$-不敏感函数
$${\ell }_{ϵ}(w,(x,y))=\{\begin{array}{cc}0& if\left|w^{T}x-y\right|\le ϵ\\ \left|w^{T}x-y\right|-ϵ& if\left|w^{T}x-y\right|>ϵ\end{array}$$
目标函数$$F_D(w)=\frac{1}{m}\sum _{i=1}^m{\ell }_{ϵ}(w,(x_i,y_i))+\lambda {\Vert w\Vert }^2$$
其中$w\in {\mathbb{R}}^d$，$\lambda$为正则化参数。

$Define3$ 基于平方函数的岭回归模型的定义
考虑平方函数$${\ell }_2(w,(x,y))=(w^{T}x-y{)}^2$$
考虑线性岭回归，目标函数：$F_D(w)=\frac{1}{m}{\sum }_{i=1}^m(w^T{x}_i-y_i{)}^T+\lambda {\Vert w\Vert }^2$其中$w\in {\mathbb{R}}^d$，$\lambda$为正则化参数。

第08题 一致性

题目

给出二分类问题算法一致性的定义，要求相信给出每一个要素的数学表达。

答案

首先给出算法一致性相关要素的数学表达。
考虑样本空间$\mathcal{X}\subseteq {\mathbb{R}}^d$和标记空间$\mathcal{Y}=\left\{-1,+1\right\}$，假设$\mathcal{D}$是$\mathcal{X}\times \mathcal{Y}$上的联合分布，对分类器$h:\mathcal{X}\mapsto \mathcal{Y}$，可定义分类器$h$在分布$\mathcal{D}$上的分类错误率为泛化风险，即
$$R(h)=P_{(x,y)\sim \mathcal{D}}(h(x)\ne y)={\mathbb{E}}_{(x,y)\sim \mathcal{D}}\left[\mathbb{I}(h(x)\ne y\right]$$。这里$\mathbb{I}(\cdot )$为指示函数。
在分布$\mathcal{D}$上取得最小错误率的分类器，我们称之为贝叶斯最优分类器，用$h^{\ast }$表示，即$$h^{\ast }\in argmi{n}_h\left\{R(h)\right\}.$$贝叶斯最优分类器的泛化风险被称为贝叶斯风险，记为
$$R^{\ast }=R(h^{\ast })=\underset{h}{\min }\left\{R(h)\right\}$$一致性理论研究随着训练数据规模的不断增加，甚至趋于无穷的极限过程中，通过训练集学得的分类器的泛化风险是否趋于贝叶斯风险。
一致性的定义：当$m⟶+\infty$时，若学习算法$A$满足
$${\mathbb{E}}_{D_m\sim {\mathcal{D}}^m}\left[R({\mathfrak{L}}_{D_m})\right]⟶R(h^{\ast }),$$则称学习算法具有一致性。

第09题 固定步长梯度

题目

对于凸优化问题$$\underset{\mathcal{W}}{\min }f(x),$$给出固定步长梯度下降法的基本流程。证明：若目标函数是$\alpha -Lipschitz$连续函数，并且$\mathcal{W}$是有界的，那么固定步长梯度下降的收敛率$O(1/\sqrt{T})$.

答案

对于一般的凸优化问题，可以采用梯度下降达到$O(1/\sqrt{T})$的收敛率，其基本流程如下：

1. 任意初始化$w_1\in \mathcal{W}$;
2. $fort=1,...,Tdo$
3. 梯度下降:$w_{t+1}^{\prime }=w_t-{\eta }_t\nabla f(w_t)$;
4. 投影:$w_{t+1}={\Pi }_{\mathcal{W}}(w_{t+1}^{\prime })$;
5. end for
6. 返回 ${\bar{w}}_T=\frac{1}{T}{\sum }_{t=1}^T{w}_t$

其中，${\eta }_t$为步长。投影操作的定义为
$${\Pi }_{\mathcal{W}}(z)=\underset{x\in \mathcal{W}}{\mathrm{argmin}}\Vert x-z\Vert$$定理 梯度下降收敛率 若目标函数是$\alpha -Lipschitz$连续函数，并且$\mathcal{W}$是有界的，那么固定步长梯度下降的收敛率$O(1/\sqrt{T})$
证明 假设可行域$\mathcal{W}$直径为$\Gamma$，并且目标函数满足$\alpha -Lipschitz$连续，即对于任意$u,v\in \mathcal{W}$，$\Vert u-v\Vert \le \Gamma ,\Vert \nabla f(u)\Vert \le l.$为了简化分析，考虑固定的步长${\eta }_t=\eta$。对于任意的$w\in \mathcal{W}$，$$\begin{array}{rl}f(w_t)-f(w)\le ⟨\nabla f(w_t),w_t-w⟩& =\frac{1}{\eta }⟨w_t-w_{t+1}^{\prime },w_t-w⟩\\ & =\frac{1}{2\eta }(\Vert w_t-w\Vert {)}^2-{\Vert w_{t+1}^{\prime }-w\Vert }^2+{\Vert w_t-w_{t+1}^{\prime }\Vert }^2)\\ & =\frac{1}{2\eta }({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}^{\prime }-w\Vert }^2)+\frac{\eta }{2}{\Vert \nabla f(w_t)\Vert }^2\\ & \le \frac{1}{2\eta }({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}-w\Vert }^2)+\frac{\eta }{2}{\Vert \nabla f(w_t)\Vert }^2\end{array}$$
最后一个不等号利用了凸集合投影操作的非扩展性质:
$$\Vert {\Pi }_{\mathcal{W}}(x)-{\Pi }_{\mathcal{W}}(z)\Vert \le \Vert x-z\Vert ,\forall x,z.$$
注意到目标函数满足$\alpha -$Lipschitz连续，由上述两个式子可得
$$f(w_t)-f(w)\le \frac{1}{2\eta }({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}-w\Vert }^2)+\frac{\eta }{2}{l}^2$$
对上述从$t=1$到$T$求和，有
$$\begin{array}{rl}\sum _{t=1}^{T}f(w_t)-Tf(w)& \le \frac{1}{2\eta }({\Vert w_1-w\Vert }^2-{\Vert w_{T+1}-w\Vert }^2)+\frac{\eta T}{2}{l}^2\\ & \le \frac{1}{2\eta }{\Vert w_1-w\Vert }^2+\frac{\eta T}{2}{l}^2\le \frac{1}{2\eta }{\Gamma }^2+\frac{\eta T}{2}{l}^2.\end{array}$$
最后依据Jensen不等式可得$$\begin{array}{rl}f({\bar{w}}_T)-f(w)& =f(\frac{1}{T}\sum _{t=1}^T{w}_t)-f(w)\\ & \le \frac{1}{T}\sum _{t=1}^{T}f(w_t)-f(w)\le \frac{{\Gamma }^2}{2\eta T}+\frac{\eta l^2}{2}.\end{array}$$
因此，$$f({\bar{w}}_T)-\underset{w\in \mathcal{W}}{\min }f(w)\le \frac{{\Gamma }^2}{2\eta T}+\frac{\eta l^2}{2}=\frac{l\Gamma }{\sqrt{T}}=O(\frac{1}{\sqrt{T}}).$$
其中步长设置为$\eta =\Gamma /(lT).$定理得证。

*Jensen不等式，定义对任意凸函数$f(\cdot )$，有$$f(\mathbb{E}[X])\le \mathbb{E}[f(X)].$$由Jensen不等式可知$(\mathbb{E}[X]{)}^2\le \mathbb{E}[X{]}^2.$

第10题 在线梯度与遗憾界

题目

对于在线凸优化问题，给出在线梯度下降法的基本流程。证明：若目标函数是$\alpha$-Lipschitz连续函数，并且定义域$W$是有界的，那么在线梯度下降的遗憾界$O(\sqrt{T})$.

答案

在线梯度下降基本流程

1. 任意初始化$w_1\in \mathcal{W}$;
2. $fort=1,...,Tdo$
3. 学习器从解空间$\mathcal{W}$选择决策$w_t$；同时，对手选择一个损失函数$f_t(\cdot ):\mathcal{W}\mapsto \mathbb{R}$;
4. 学习器观测到损失函数$f_t(\cdot )$，并遭受损失$f_t(w_t)$;
5. 学习器使用在线梯度下降更新决策：
   $$w_{t+1}={\Pi }_{\mathcal{W}}(w_t-{\eta }_t\nabla f_t(w_t));$$
6. $endfor$

证明 令可行域$\mathcal{W}$的直径为$\Gamma$且所有在线函数是$l-$Lipschitz连续，即$$\begin{array}{r}\Vert u-v\Vert \le \Gamma ,\forall u,v\in \mathcal{W};\\ \Vert \nabla f_t(w)\Vert \le l,\forall t\in [T],w\in \mathcal{W}.\end{array}$$
将步长设置为${\eta }_t=\Gamma /(l\sqrt{t})$，并定义$w_{t+1}^{\prime }=w_t-{\eta }_t\nabla f_t(w_t).$
对于任意的$w\in \mathcal{W},$
$$\begin{array}{rl}{f}_t(w_t)-f_t(w)& \le ⟨\nabla f_t(w_t),w_t-w⟩=\frac{1}{\eta t}⟨w_t-w_{t+1}^{\prime },w_t-w⟩\\ & =\frac{1}{2\eta t}({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}^{\prime }-w\Vert }^2+{\Vert w_t-w_{t+1}^{\prime }\Vert }^2)\\ & =\frac{1}{2\eta t}({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}^{\prime }-w\Vert }^2)+\frac{\eta t}{2}{\Vert \nabla f_t(w_t)\Vert }^2\\ & \le \frac{1}{2\eta t}({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}-w\Vert }^2)+\frac{\eta t}{2}{\Vert \nabla f_t(w_t)\Vert }^2\\ & \le \frac{1}{2\eta t}({\Vert w_t-w\Vert }^2-{\Vert w_{t+1}-w\Vert }^2)+\frac{\eta t}{2}{l}^2.\end{array}$$
对从$t=1$到$T$求和，得到$$\begin{array}{rl}\sum _{t=1}^T{f}_t(w_t)-\sum _{t=1}^T{f}_t(w)& \le \frac{1}{2{\eta }_1}{\Vert w_1-w\Vert }^2-\frac{1}{2{\eta }_T}{\Vert w_{T+1}-w\Vert }^2+\\ & \frac{1}{2}\sum _{t=2}^T(\frac{1}{{\eta }_t}-\frac{1}{{\eta }_{t-1}}){\Vert w_t-w\Vert }^2+\frac{l^2}{2}\sum _{t=1}^T{\eta }_t.\end{array}$$
根据上述三式以及${\eta }_t<{\eta }_{t-1}$，可以进一步化简为
$$\begin{array}{rl}\sum _{t=1}^T{f}_t(w_t)-\sum _{t=1}^T{f}_t(w)& \le \frac{{\Gamma }^2}{2{\eta }_1}+\frac{{\Gamma }^2}{2}\sum _{t=2}^T(\frac{1}{{\eta }_t}-\frac{1}{{\eta }_{t-1}})+\frac{l^2}{2}\sum _{t=1}^T{\eta }_t\\ & =\frac{{\Gamma }^2}{2{\eta }_T}+\frac{l^2}{2}\sum _{t=1}^T{\eta }_t\\ & =\frac{\Gamma l\sqrt{T}}{2}+\frac{\Gamma l}{2}\sum _{t=1}^T\frac{1}{\sqrt{t}}\\ & \le \frac{3\Gamma l}{2}\sqrt{T}.\end{array}$$因此，有$$\sum _{t=1}^T{f}_t(w_t)-\underset{w\in \mathcal{W}}{\min }\sum _{t=1}^T{f}_t(w)\le \frac{3\Gamma l}{2}\sqrt{T}=O(\sqrt{T}).$$定理得证。