最速下降法

无约束最小化问题

$$minimizef(x)$$
其中$f:R^n\to R$ 是凸的，并且是连续的、二次可微。

解析解

上述问题的充分必要条件是：$▽f(x^{\star })=0$，如果能直接通过这个求解就找到答案了。

迭代法

但很多时候上述方法不能直接求出来。这时就会用到迭代法。可以计算一个序列$x^{(0)},x^{(1)},\cdots \in domf$，当$k\to \infty$时$f(x^{(k)})\to p^{\star }$.

梯度下降法

要产生一个下降序列$x^{(k)},k=1,...,$
$$x^{(k+1)}=x^{(k)}+t^{(k)}\Delta x^{(k)}$$
并且$t^{(k)}>0$

---

$f(x)$用泰勒公式展开近似
$$\begin{gathered} f(x+\Delta x)\approx f(x)+▽f(x{)}^T\Delta x \\ f(x+\Delta x)-f(x)\approx ▽f(x{)}^T\Delta x \end{gathered}$$
要产生一个下降的序列，可以让$▽f(x{)}^T\Delta x<0$，明显$\Delta x=-▽f(x{)}^T$时，是下降的，这就是梯度下降法的方向。

最速下降法

下降法中其实要求的是使$▽f(x{)}^T\Delta x<0$的$\Delta x$，梯度下降法直观上（随便 ）就给了个结果$\Delta x=-▽f(x{)}^T$。最速下降法会把问题一般化。

最速下降法，最速，下降最快，最小，故名思议就是求使$▽f(x{)}^T\Delta x$最小的$\Delta x$。假如方向确定了，再减小它的长度，那就会再小，这就没有意义了，所以要对$x$的大小进行限制。大小用norm表示，最常见的就是欧几里得范数了。
$$▽x_{nsd}=argmin\{\Delta f(x{)}^{T}v|\Vert v\Vert =1\}.$$

这里$\Vert \Vert$代表任意范数。
定义另外一个方向相同，系数不同的值
$$\Delta x_{sd}=\Vert ▽f(x){\Vert }_{\star }\Delta x_{nsd}$$
其中$\Vert {\Vert }_{\star }$是dual norm，$\Vert ▽f(x){\Vert }_{\star }=sup\{▽f(x{)}^{T}v|\Vert v\Vert \le 1\}.$

欧几里得范数

如果是欧几里得范数，那最速下降法就是梯度下降法。$\Delta x_{sd}=-▽f(x)$

quadratic norm

quadratic norm的定义是$\Vert z{\Vert }_P=(z^{T}Pz{)}^{1/2}=\Vert P^{1/2}z{\Vert }_2,$其中$P$是对称正定矩阵。

为什么$\{z|z^{T}Pz=1\}$代表椭圆，看这里，
也可以看这里

$l_1$norm

$\Vert v{\Vert }_1=1$的几何意义是下面的图形。（$\Vert v{\Vert }_2=1$是圆形）

牛顿法

牛顿法就是最速下降法中使$P={▽}^{2}f(x)$
$$\Delta x_{nt}=-P^{-1}▽f(x)=-{{▽}^{2}f(x)}^{-1}▽f(x)$$

---

牛顿法还可以这样理解：
$f$在$x$点的二阶泰勒展开式$\hat{f}$

参考

Convex Optimization, Boyd, Chapter 9 Unconstrained minimization