线性代数笔记12：二次型与函数极值

这一节我们将看见，如何将数值函数用矩阵表示，并使用正定矩阵来指示函数的极值。

二次型

1. 定义：对 n n 维实向量 x x 及 n n 阶实对称矩阵 A A ，称以下数值函数为一个实二次型（quadratic form），为一个二次齐次多项式。

   f(x)=xTAx=∑i=1n∑j=1naijxixj f ( x ) = x T A x = ∑ i = 1 n ∑ j = 1 n a i j x i x j

2. 对 n n 维复向量 x x 以及 n n 阶复矩阵 A A 且 A=A¯T(Hermitian) A = A ¯ T ( H e r m i t i a n ) ，则称 f(x)=x¯TAx f ( x ) = x ¯ T A x 为复二次型。

3. 若 n n 阶矩阵 D D 为对角阵，则称二次型为对角型的：

   f(x)=xTDx=∑i=1ndiix2i f ( x ) = x T D x = ∑ i = 1 n d i i x i 2

   任何二次型总可以经过坐标变换 x=Qy x = Q y 变为对角型的，这是因为对实对称矩阵 A A ，总存在正交阵 Q Q ，使得 QTAQ=Λ=diag(λ1,...,λn) Q T A Q = Λ = d i a g ( λ 1 , . . . , λ n ) 。

   ∴f(x)=xTQΛQTx=yTΛy=∑i=1nλiy2i ∴ f ( x ) = x T Q Λ Q T x = y T Λ y = ∑ i = 1 n λ i y i 2

二次型的分类

一个二次型 f(x)=xTAx f ( x ) = x T A x 是：

• 正定的，若对所有 x≠0 x ≠ 0 ，有 f(x)>0 f ( x ) > 0 ;
• 负定的，若对所有 x≠0 x ≠ 0 ，有 f(x)<0 f ( x ) < 0 ;
• 不定的，若 f(x) f ( x ) 既有正值，也有负值;
• 半正定的，若对所有 x≠0 x ≠ 0 ，有 f(x)≥0 f ( x ) ≥ 0 ;
• 半负定的，若对所有 x≠0 x ≠ 0 ，有 f(x)≤0 f ( x ) ≤ 0 ;

性质及定理

1. 主轴定理：

   设 A A 是一个 n n 阶实对称矩阵，则存在正交变换 x=Qy x = Q y ，使得二次型变为对角型的二次型：

   xTAx=yTΛy=∑λiy2i x T A x = y T Λ y = ∑ λ i y i 2

2. 推论：

   若 A A 为 n n 阶正定矩阵，则 xTAx=1 x T A x = 1 表示中心在原点，主轴沿着 A A 的特征值方向，半长轴相应为 1λ1√,...1λn√ 1 λ 1 , . . . 1 λ n 的椭球面，其中 λ1,...λn λ 1 , . . . λ n 为 A A 的特征值。

3. 设 A A 为 n n 阶实对称矩阵，则二次型 f(x)=xTAx f ( x ) = x T A x 是：

   • 正定的 <=> A A 的所有特征值都是正数；
   • 负定的 <=> A A 的所有特征值都是负数；
   • 不定的 <=> A A 的特征值既有负数，也有正数；

4. 矩阵的合同

   若两个矩阵 A,B A , B ，若存在 n n 阶可逆矩阵 C C ，使得：

   CTAC=B C T A C = B

   则称矩阵 A A 和 B B 合同(congruent)

5. 主轴定理可表述为：任何实对称矩阵正交合同与对角阵。

6. 事实上，实对称矩阵不限于正交合同，其他代换（如LDU分解）也可合同与对角阵。

7. 惯性定理：

   实对称矩阵 A A 与矩阵 CTAC C T A C 具有相同数目的正特征值，负特征值和零特征值。

在函数极值中的应用

• 这里不给出证明，当我们使用一阶导为0求得稳定点之后，将函数转化为二次型，可根据二次型的性质判断是极小值还是极大值。

• 二次型矩阵（Hessian矩阵）：

  Hessianf(x0,y0)=⎛⎝⎜∂2f∂x2(x0,y0)∂2f∂x∂y(x0,y0)∂2f∂x∂y(x0,y0)∂2f∂y2(x0,y0)⎞⎠⎟ H e s s i a n f ( x 0 , y 0 ) = ( ∂ 2 f ∂ x 2 ( x 0 , y 0 ) ∂ 2 f ∂ x ∂ y ( x 0 , y 0 ) ∂ 2 f ∂ x ∂ y ( x 0 , y 0 ) ∂ 2 f ∂ y 2 ( x 0 , y 0 ) )

• 若二次型负定，则 f(x,y) f ( x , y ) 在 (x0,y0) ( x 0 , y 0 ) 达到极大值。

• 若二次型正定，则 f(x,y) f ( x , y ) 在 (x0,y0) ( x 0 , y 0 ) 达到极小值。

• 若二次型不定，则 f(x,y) f ( x , y ) 在 (x0,y0) ( x 0 , y 0 ) 不是极值。