无约束问题的最小化

最近在看"Machine Learning A Probability Perspective"的逻辑回归，因为涉及些优化的算法，一起看书的伙伴们就决定把"Convex Optimization"优化的内容看一下。
在阅读以下内容之前，要记住问题的出发点，即给定无约束的凸问题该用什么方法求得最优解（这里假设问题是求最小值）？各种方法之间有什么性质。
也许最先想到的方法就是对变量求梯度，让它等于$0$的变量值就是最优解。没错，这样的方法很简单，但是当求导过程过于复杂的时候该怎么办呢？也许你还知道梯度下降，牛顿法等等。如果你对这些方法没有听说过，或者还想知道更多，那接着阅读下去吧，当然最好还是建议你看一下原书。
最近正在忙毕设（好慌，QAQ！），看的内容比较少，这次内容包括：

• 强凸及其性质
• 下降方法求解的框架
• 梯度下降算法收敛性分析
• 最速下降法
• 牛顿方法

强凸及其性质

函数强凸是说在凸集$\mathrm{S}$中，对于$\forall \mathbf{x}\in \mathrm{S}$均有下式成立：
$${\nabla }^{2}f(\mathbf{x})\succcurlyeq m\mathbf{I}$$
其中$m>0$，将上式带入到函数的泰勒展开式
$$f(\mathbf{y})=f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{1}{2}(\mathbf{y}-\mathbf{x}{)}^T{\nabla }^{2}f(\mathbf{x})(\mathbf{y}-\mathbf{x})$$
得到
$$f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{m}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }_2^2\text{\hspace{1em}(1)}$$
在等式右边对$\mathbf{y}$求梯度，得到：
$$\mathbf{y}-\mathbf{x}=-\frac{1}{m}\nabla f(\mathbf{x})$$
带入得到
$$f(\mathbf{y})\ge f(\mathbf{x})-\frac{1}{2m}\Vert \nabla f(\mathbf{x}){\Vert }_2^2\text{\hspace{1em}(2)}$$
令$\mathbf{y}={\mathbf{x}}^{\ast }$，可以得到$\nabla f(\mathbf{x})$的下界
$$\Vert \nabla f(\mathbf{x}){\Vert }_2^2\ge 2m(f(\mathbf{x})-p^{\ast })$$
可以看到，当某一点的梯度越小时，其越接近最优点，而这与最优点梯度为0的常识相符合。因此也可以用$\Vert \nabla f(\mathbf{x}){\Vert }_2^2\le ϵ$当作收敛条件。

将${\mathbf{x}}^{\ast }$带入到(1)中，再利用柯西施瓦茨不等式得到：
$$f({\mathbf{x}}^{\ast })\ge f(\mathbf{x})-\Vert \nabla f(\mathbf{x}){\Vert }_2\Vert {\mathbf{x}}^{\ast }-\mathbf{x}{\Vert }_2+\frac{m}{2}\Vert {\mathbf{x}}^{\ast }-\mathbf{x}{\Vert }_2^2$$
可以得到
$$\Vert \mathbf{x}-{\mathbf{x}}^{\ast }{\Vert }_2\le \frac{2}{m}\Vert \nabla f(\mathbf{x}){\Vert }_2$$
即通过$\Vert \nabla f(\mathbf{x}){\Vert }_2$可以得到$\mathbf{x}$和${\mathbf{x}}^{\ast }$的差距上界。

一般而言$\mathrm{S}$被当做是下子集，是有界的，故存在$M>0$使得$\forall \mathbf{x}\in \mathrm{S}$满足
$${\nabla }^{2}f(\mathbf{x})⪯M\mathbf{I}$$
使用相同的方法，可以得到：
$$\begin{gathered} f(\mathbf{y})⪯f(x)+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{M}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }_2^2 \\ {p}^{\ast }⪯f(\mathbf{x})-\frac{1}{2M}\Vert \nabla f(\mathbf{x}){\Vert }_2^2 \end{gathered}$$
定义$\kappa =\frac{M}{m}$为$\mathrm{S}$的$\text{c}onditionnumber$，$\text{c}onditionnumber$会在之后的收敛性分析中扮演重要的角色。${\nabla }^{2}f(\mathbf{x})$是实对称矩阵，可以看出$\text{c}onditionnumber$可以看作${\nabla }^{2}f(\mathbf{x})$在$\forall \mathbf{x}\in \mathrm{S}$中最大特征值和最小特征值的比值。关于条件数和几何解释的衔接还在考虑怎么写

下面对$\text{c}onditionnumber$进行几何解释，设凸集合$C$的沿某一方向上的宽度为
$$W(C,q)=\underset{z\in C}{\sup }{q}^{T}z-\underset{z\in C}{\inf }{q}^{T}z$$
集合$C$在不同方向上的最大最小宽度如下：
$$\begin{gathered} W_{\min }=\underset{|q{|}_2=1}{\inf }W(C,q) \\ {W}_{\max }=\underset{|q{|}_2=1}{\sup }W(C,q) \end{gathered}$$
而$conditionnumber$为$W_{max}^2/W_{min}^2$，从而可以看出$conditionnumber$越小说明集合$C$越圆，反之则其各项异性比较大。

对于$\alpha$-sublevel子集$C_{\alpha }=\{\mathbf{x}|f(\mathbf{x})\le \alpha \}$，根据(2)和类似的式子可得
$$p^{\ast }+\frac{M}{2}\Vert {\mathbf{x}}^{\ast }-\mathbf{y}{\Vert }_2^2\ge f(\mathbf{y})\ge p^{\ast }+\frac{m}{2}\Vert {\mathbf{x}}^{\ast }-\mathbf{y}{\Vert }_2^2$$
再利用$\alpha \ge f(\mathbf{y})$，则$\alpha \ge p^{\ast }+\frac{m}{2}\Vert {\mathbf{x}}^{\ast }-\mathbf{y}{\Vert }_2^2$。当$\mathbf{y}$趋近于${\mathbf{x}}^{\ast }$时，$p^{\ast }+\frac{M}{2}\Vert {\mathbf{x}}^{\ast }-\mathbf{y}{\Vert }_2^2$趋近于$p^{\ast }$，此时$\alpha \ge p^{\ast }+\frac{M}{2}\Vert {\mathbf{x}}^{\ast }-\mathbf{y}{\Vert }_2^2$可以求得部分$\mathbf{y}$的范围。上述两个不等式可以得到：
$$\begin{gathered} B_{inner}=\{\mathbf{y}|\Vert \mathbf{y}-{\mathbf{x}}^{\ast }{\Vert }_2^2\le \frac{2}{M}(\alpha -p^{\ast })\} \\ {B}_{outer}=\{\mathbf{y}|\Vert \mathbf{y}-{\mathbf{x}}^{\ast }{\Vert }_2^2\le \frac{2}{m}(\alpha -p^{\ast })\} \end{gathered}$$
可见$\alpha$下子集在$B_{inner}$和$B_{outer}$之间，则根据几何解释$\text{cond}(C_{\alpha })\le \frac{M}{m}$。这样，$conditionnumber$和下子集的形状联系了起来。

当$\alpha$趋近于${\mathbf{x}}^{\ast }$时，根据泰勒展开，其梯度可以认为是0，得到下子集$C_{\alpha }$
$$C_{\alpha }=\{\mathbf{y}|(\mathbf{y}-{\mathbf{x}}^{\ast }{)}^T{\nabla }^{2}f(\mathbf{x})(\mathbf{y}-{\mathbf{x}}^{\ast })\le 2(\alpha -p^{\ast })\}$$
可以看到此时的下子集$C_{\alpha }$接近为${\nabla }^{2}f({\mathbf{x}}^{\ast })$的椭球，此时的$\text{cond}(C_{\alpha })=\kappa {\nabla }^{2}f({\mathbf{x}}^{\ast })$。

下降算法求解框架