利普希茨连续的定义是:如果函数 f f f在区间 Q Q Q上以常数 L L L利普希茨连续,那么对于 x , y ∈ Q x, y \in Q x,y∈Q,有: ∣ ∣ f ( x ) − f ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f(x) - f(y)|| \leq L||x - y|| ∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣ 其中常数 L L L称为 f f f在区间 Q Q Q上的Lipschitz常数。
除了Lipschitz continuous之外,Lipschitz continuous gradient 和 Lipschitz continuous Hessian也是常用到的概念,它们都是由Lipschitz continuous概念延伸出来的。值得一提的是,很多论文中,尤其是关于凸优化的问题,Lipschitz continuous gradient的应用更为常见。
其中,如果函数 f f f满足Lipschitz continuous gradient,就意味着它的导数 f ′ f' f′满足Lipschitz continuous,即如果函数 f f f满足Lipschitz continuous gradient,则: ∣ ∣ f ′ ( x ) − f ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f'(x) - f'(y)|| \leq L||x - y|| ∣∣f′(x)−f′(y)∣∣≤L∣∣x−y∣∣
其中,如果函数 f f f满足Lipschitz continuous Hessian,就意味着它的二阶导数 f ′ ′ f'' f′′满足Lipschitz continuous,即如果函数 f f f满足Lipschitz continuous Hessian,则: ∣ ∣ f ′ ′ ( x ) − f ′ ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f''(x) - f''(y)|| \leq L||x - y|| ∣∣f′′(x)−f′′(y)∣∣≤L∣∣x−y∣∣
从上面的定义中可以看出,利普希茨连续限制了函数 f f f的局部变动幅度不能超过某常量。同样的道理,Lipschitz continuous gradient和Lipschitz continuous Hessian则限制了函数的导函数和二阶导函数的局部变化幅度。
1、如果函数 f f f符合Lipschitz continuous,根据上面的公式可以得到下面的不等式:
{ f ( y ) ≤ f ( x ) + L ∣ ∣ y − x ∣ ∣ f ( y ) ≥ f ( x ) − L ∣ ∣ y − x ∣ ∣ \left\{ \begin{aligned} f(y)&\leq f(x) + L||y - x||\\ f(y)&\geq f(x)- L||y - x|| \end{aligned} \right. {f(y)f(y)≤f(x)+L∣∣y−x∣∣≥f(x)−L∣∣y−x∣∣固定变量 x x x,不等式的右端即是一个一次的函数,即函数 f f f被一次函数上下逼近。
2、如果函数 f f f在 R n R^{n} Rn上满足Lipschitz continuous gradient,则对于任意 x , y ∈ R n x, y \in R^{n} x,y∈Rn有: ∣ f ( y ) − f ( x ) − < f ′ ( x ) , y − x > ∣ ≤ L / 2 ∣ ∣ y − x ∣ ∣ 2 |f(y) - f(x) -
{ f ( y ) ≤ f ( x ) + < f ′ ( x ) , y − x > + L / 2 ∣ ∣ y − x ∣ ∣ 2 f ( y ) ≥ f ( x ) + < f ′ ( x ) , y − x > − L / 2 ∣ ∣ y − x ∣ ∣ 2 \left\{ \begin{aligned} f(y)&\leq f(x) +
3、如果函数 f f f在 R n R^{n} Rn上满足Lipschitz continuous Hessian,则对于任意 x , y ∈ R n x, y \in R^{n} x,y∈Rn有: ∣ f ( y ) − f ( x ) − < f ′ ( x ) , y − x > − 1 2 < f ′ ′ ( x ) ( y − x ) , y − x > ∣ ≤ L / 6 ∣ ∣ y − x ∣ ∣ 3 |f(y) - f(x) -
{ f ( y ) ≤ f ( x ) + < f ′ ( x ) , y − x > + 1 2 < f ′ ′ ( x ) ( y − x ) , y − x > + L / 6 ∣ ∣ y − x ∣ ∣ 3 f ( y ) ≥ f ( x ) + < f ′ ( x ) , y − x > + 1 2 < f ′ ′ ( x ) ( y − x ) , y − x > − L / 6 ∣ ∣ y − x ∣ ∣ 3 \left\{ \begin{aligned} f(y)&\leq f(x) +
关于上面的证明可以参考非凸优化基石:Lipschitz Condition
利普希茨连续的几何意义是什么?怎么较好的理解它呢? - 知乎
非凸优化基石:Lipschitz Condition