二次范数的最速下降方法理解与分析

最近在看Stephen Boyd的《凸优化》，对其中采用二次范数的最速下降方法，书中给出了基于坐标变换的推导，简单易懂，本文给出的是从定义的角度推导的过程，现分析如下，本人水平有限，如有错误，欢迎指正！

首先对二次范数的定义和对偶范数进行说明

1. 二次范数的定义

对于，P的二次范数如下：

推导如下：

2. 二次范数的对偶范数

即是：

其中，那么，其中，

对于给定的z和P，方向大小已定，要使上式內积最大，要和方向一致，且取最大值为1，也就是说是的方向向量时，內积最大，为

3. 二次范数的规范化的最速下降方法

注意：

就是二次范数的对偶范数，可知当是的方向向量时，內积最大，求出此时的v，便是argmax的最优值。

由是的方向向量，有以下式子成立：

那么：

最后最速下降法的步径如下：

4. 《凸优化》中用坐标变换的角度来说明，更易理解，现附录如下：

对于采用P范数的最速下降法，它有一个有意义的解释：它是对原问题进行某种坐标变换后的梯度下降法。定义，因此。采用这种变换，原目标函数的最小化问题可以转化为极小化下式给出的目标函数，

采用梯度方法的优化，在点处的直线搜索方向为：

通过坐标变换再变回去：

参考：《凸优化》王书宁等译