凸函数一阶优化的复杂度下界

对于梯度下降等凸函数优化方法，我们都是给定一个初始点，然后每次计算当前点的梯度，然后沿着逆梯度方向去寻找最优点，所以最终找到的点都可以表示成初始点和一系列导数的线性组合，形式如下：

解的形式，x0为初始点

本节要证明的主要定理是：满足一阶利普希茨连续的凸函数，通过一阶方法进行优化，经过k（1<=k<=(n-1)/2）次迭代之后，误差的下界是：

误差下界

注意：因为要求的是下界，所以f(x)应该是最难解的函数，书中给出的f(x)二次函数族的形式是（为什么只考虑二次函数族，又为什么这种形式最难解？），这个证明实际上给出了这个二次函数族的下界：

f(x)的形式

这个函数可以构造出如下解：

构造解

将构造解带入方程可以得到方程的最优解：

方程最优解

固定某个k，假设我要求的是f2k+1(x)的最优解，则

第一个式子证明

第二个式子证明