最优化方法Python计算：向量和矩阵的范数

Python用于科学计算中各种数组操作的工具包numpy的linalg模块中提供函数norm用于计算向量和矩阵的范数。该函数的调用接口为
$$\text{norm(x,ord)}$$
其中，参数x表示向量或矩阵，ord表示范数类型，缺省值为2-范数。即对向量 x = ( x 1 x 2 ⋮ x n ) \boldsymbol{x}=\begin{pmatrix}x_1\\x_2\\\vdots\\x_n\end{pmatrix} x= ​x1​x2​⋮xn​​ ​计算范数
$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$
对矩阵 A = ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) \boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{m1}&a_{m2}&\cdots&a_{mn}\end{pmatrix} A= ​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​ ​，范数为
$$\Vert \mathbf{A}{\Vert }_2=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}.$$
其它类型范数读者可查阅numpy手册。例如，若参数ord取numpy的inf（表示无穷$\infty$），对向量$\mathbf{x}$而言，计算的范数为
$$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{1\le i\le n}{\max }\{|x_i|\},$$
而对矩阵$\mathbf{A}$而言，计算的是范数
$$\Vert \mathbf{A}{\Vert }_{\infty }=\underset{1\le i\le m}{\max }\left\{\sum _{j=1}^n|a_{ij}|\right\}.$$
例1 用Python计算函数$f(x_1,x_2)=x_1^4+x_2^4-4x_1^2{x}_2^2,\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)\in {\text{R}}^2$在$\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)$处的梯度范数$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。Hesse阵范数$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。\par
{\heiti{解}}：不难算得函数$f(x_1,x_2)$的梯度为
$$\nabla f(x_1,x_2)=\left(\begin{array}{c}4x_1^3-8x_1{x}_2^2\\ 4x_2^3-8x_1^2{x}_2\end{array}\right)$$
$\nabla f(\frac{1}{2},\frac{1}{2})=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)$。Hesse阵为
$${\nabla }^{2}f(x_1,x_2)=\left(\begin{array}{cc}12x_1^2-8x_2^2& -16x_1{x}_2\\ -16x_1{x}_2& 12x_2^2-8x_1^2\end{array}\right)$$
${\nabla }^{2}f(\frac{1}{2},\frac{1}{2})=\left(\begin{array}{cc}1& -4\\ -4& 1\end{array}\right)$。因此，
$$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_2=\sqrt{{\left(\frac{1}{2}\right)}^2+{\left(\frac{1}{2}\right)}^2}=\sqrt{\frac{1}{2}}\text{及}\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }=\max \{\frac{1}{2},\frac{1}{2}\}=\frac{1}{2}$$
$$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_2=\sqrt{1^2+4^2+1^2+4^2}=\sqrt{34}\text{及}\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }=\max \{1+4,4+1\}=5.$$
下列代码验算上述结果。

import numpy as np                                          #导入numpy
f1=lambda x:np.array([4*x[0]**3-8*x[0]*x[1]**2,             #设置梯度函数
		      4*x[1]**3-8*x[0]**2*x[1]])
f2=lambda x:np.array([[12*x[0]**2-8*x[1]**2,-16*x[0]*x[1]], #设置Hesse阵函数
		      [-16*x[0]*x[1],12*x[1]**2-8*x[0]**2]])
x=np.array([1/2,1/2])                                       #设置向量x
print(np.linalg.norm(f1(x)))                                #计算梯度2-范数
print(np.linalg.norm(f1(x),np.inf))                         #计算梯度∞-范数
print(np.linalg.norm(f2(x)))                                #计算Hesse阵2-范数
print(np.linalg.norm(f2(x),np.inf))                         #计算Hesse阵∞-范数

程序的第2~3行设置梯度函数$\nabla f(x_1,x_2)$为f1，第4~5行设置Hesse阵函数${\nabla }^{2}f(x_1,x_2)$为f2。第6行设置向量$\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)$为x。第7、8行分别计算$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。注意调用norm函数时传递ord参数前者缺省，后者为numpy的inf。相仿地，第9、10行计算$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。运行程序，输出

0.7071067811865476
0.5
5.830951894845301
5.0

其中0.7071067811865476是$\sqrt{\frac{1}{2}}$的近似值，5.830951894845301是$\sqrt{34}$的近似值。