梯度下降法复杂度计算与公式推导

梯度下降法复杂度计算与公式推导

如何梯度下降法的复杂度

1. 通过自己的数据进行实际代码运行测试，看看时间性能如何。但是这样子不能直观看出类似于：quick sort(nlogn)这样的复杂度
2. 通过公式进行复杂度评估

Gradient Descent Algorithm

1. 初始化$x_0\in R^d$ 和步长 （step_size） ${\eta }_t$>0
2. for i = 1, 2, 3, …:
   $x_{i+1}$= $x_i$ - ${\eta }_t\nabla$f($x_i$)

convergence Analysis of Grandient Descent

(梯度下降法的收敛分析)

1. 定理

       假设满足L- Lipschitz 条件(即是平滑函数i.e.LR等)， 并且是凸函数， 设定$x^{\ast }=argminf(x)$（即我们最后想得到的最优解）, 步长${\eta }_t\le \frac{1}{L}$(L 即是一个常数)， 即满足：
                                                                             $$f(x_k)\le f(x_{\ast })+\frac{||x_0-x_{\ast }|{|}_2^2}{2\eta K}\text{\hspace{1em}(1.1)}$$
       当我们迭代 $k=\frac{L||x_0-x_{\ast }|{|}_2^2}{\epsilon }$ , 就能保证收敛到保证$\epsilon$ - approximation optional value $x({\eta }_t=\frac{1}{L})$
       其中$x_k$是程序第K次迭代的x的值,即在程序运行中我们希望我们的$f(x_k)$ 慢慢接近于$f(x_{\ast })$, 即 $\frac{||x_0-x_{\ast }|{|}_2^2}{2\eta K}$越来越小， 此时判断GD执行K值收敛的$\epsilon$即可知复杂度有多少。
即，将$k=\frac{L||x_0-x_{\ast }|{|}_2^2}{\epsilon }$ ， ${\eta }_t\le \frac{1}{L}$带入（1.1）：
$$\frac{||x_0-x_{\ast }|{|}_2^2}{2{\eta }_t\frac{L||x_0-x_{\ast }|{|}_2^2}{\epsilon }}=\frac{\epsilon }{2{\eta }_{t}L}=\frac{\epsilon }{2}$$

$$\therefore f(x_k)\le f(x^{\ast })+\frac{\epsilon }{2}=f(x^{\ast })+O(\epsilon )\text{\hspace{1em}(1.2)}$$

2. 公式求导

2.1 凸函数性质：
定义：若 $f(x)$ 是凸函数（convexity）则任意的$x,y\in R^d,0\le \lambda \le 1$
$$f(\lambda x+(1-\lambda )y)\le \lambda f(x)+(1-\lambda )f(x)\text{\hspace{1em}(2.1)}$$
$$f(x)+\nabla f(x)(y-x)\le f(y)\text{\hspace{1em}(2.2 . first order convexity)}$$

2.1 L- Lipschitz2条件以及定理（给定的第二个定理）：
一个光滑函数（smooth function）f 满足 L- Lipschitz条件， 则对于任意$x,y\in R^d,即有$
$$||\nabla f(x)-\nabla f(y)||\le L||x-y||\text{\hspace{1em}(Claim 1)}$$

证明Claim 1 , 举例linear regression, loss = $\frac{1}{n}||X_m-y|{|}^2,X_m是矩阵形式$

2.3 L- Lipschitz3条件以及定理（给定的第三个定理）
假设一个函数满足L-Lipschitz 条件， 并且是凸函数，对于任意的$x,y\in R^d, 我们有：
$$f(y)\le f(x)+\nabla f(x)(y-x)+\frac{L}{2}||y-x|{|}^2\text{\hspace{1em}(2.3)}$$

回顾积分性质：
已知： $$h(x):h(1)=h(0)+{\int }_0^1\dot{h(\tau )}d\tau$$
定义： $$h(\tau )=f(x+\tau (y-x))$$
所以： $$h(1)=f(y),h(0)=f(x)$$
$$f(y)=f(x)+{\int }_0^1\nabla f(x+\tau (y-x))(y-x)d\tau \text{\hspace{1em}(2.4)}$$

定理3 的证明：

根据上面推导的公式，证明定理1：