数学基础 -- 线性代数之矩阵正定性

线性代数中的正定性

正定性在线性代数中主要用于描述矩阵的特性,尤其是在二次型与优化问题中有重要应用。

正定矩阵的定义

对于一个 n × n n \times n n×n 的对称矩阵 A A A,其正定性可以通过以下条件来判断:

  • 正定矩阵:如果对于任意非零向量 x ∈ R n x \in \mathbb{R}^n xRn,二次型 x T A x x^T A x xTAx 都是正的,即:
    x T A x > 0 ∀ x ∈ R n , x ≠ 0 x^T A x > 0 \quad \forall x \in \mathbb{R}^n, x \neq 0 xTAx>0xRn,x=0
    则称矩阵 A A A 是正定矩阵(positive definite matrix)。

  • 正半定矩阵:如果对于任意向量 x ∈ R n x \in \mathbb{R}^n xRn,二次型 x T A x x^T A x xTAx 是非负的,即:
    x T A x ≥ 0 ∀ x ∈ R n x^T A x \geq 0 \quad \forall x \in \mathbb{R}^n xTAx0xRn
    则称矩阵 A A A 是正半定矩阵(positive semi-definite matrix)。

正定矩阵的判定方法

  1. 特征值法:如果一个对称矩阵的所有特征值都是正数,则该矩阵是正定的。特征值为非负则该矩阵是正半定的。

  2. 主子式法:对于对称矩阵 A A A,如果其所有顺序主子式的行列式均为正,则矩阵 A A A 是正定矩阵。这些主子式包括矩阵的左上角的各个子矩阵(即从 1x1 到 nxn)。

  3. 二次型判断法:直接计算二次型 x T A x x^T A x xTAx,如果对于所有非零向量 x x x,结果都为正,则矩阵 A A A 是正定的。

判定矩阵正定性的例子

假设有一个 2 × 2 2 \times 2 2×2 的矩阵 A A A

A = ( 2 1 1 2 ) A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} A=(2112)

我们可以通过以下两种方法来判断它是否正定。

方法1:主子式法

矩阵 A A A 是对称矩阵,我们可以计算它的主子式:

  1. 第一个主子式(取左上角的 1x1 矩阵):
    det ⁡ ( A 1 ) = 2 \det(A_1) = 2 det(A1)=2
    该值大于 0。

  2. 第二个主子式(整个 2x2 矩阵的行列式):
    det ⁡ ( A ) = det ⁡ ( 2 1 1 2 ) = 2 × 2 − 1 × 1 = 3 \det(A) = \det\begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} = 2 \times 2 - 1 \times 1 = 3 det(A)=det(2112)=2×21×1=3
    该值也大于 0。

由于两个顺序主子式的行列式都为正,因此矩阵 A A A 是正定矩阵。

方法2:特征值法

我们可以通过特征值法来判断正定性。首先求矩阵 A A A 的特征值:

det ⁡ ( 2 − λ 1 1 2 − λ ) = ( 2 − λ ) 2 − 1 = λ 2 − 4 λ + 3 = 0 \det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = 0 det(2λ112λ)=(2λ)21=λ24λ+3=0

解这个特征方程:

λ 1 = 3 , λ 2 = 1 \lambda_1 = 3, \quad \lambda_2 = 1 λ1=3,λ2=1

由于矩阵 A A A 的两个特征值均为正,因此 A A A 是正定矩阵。

正定矩阵的应用例子

正定矩阵在优化问题中有重要的应用。例如,在二次型优化问题中,正定矩阵可以用来确保二次型函数有唯一的最小值。

二次型优化问题

考虑一个二次型优化问题:

f ( x ) = 1 2 x T A x − b T x f(x) = \frac{1}{2} x^T A x - b^T x f(x)=21xTAxbTx

其中,矩阵 A A A 是对称矩阵,向量 b b b 是已知的常量向量, x x x 是待优化的变量向量。

如果矩阵 A A A 是正定的,则二次型函数 f ( x ) f(x) f(x) 有唯一的极小值。我们可以通过解线性方程组找到最优解。根据一阶导数条件:

∇ f ( x ) = A x − b = 0 \nabla f(x) = A x - b = 0 f(x)=Axb=0

解得:

x ∗ = A − 1 b x^* = A^{-1} b x=A1b

这里,矩阵 A A A 的正定性确保了矩阵 A A A 是可逆的,并且最优解 x ∗ x^* x 是全局最小值。

示例

考虑矩阵 A A A 和向量 b b b 如下:

A = ( 2 1 1 2 ) , b = ( 3 4 ) A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}, \quad b = \begin{pmatrix} 3 \\ 4 \end{pmatrix} A=(2112),b=(34)

我们要求解最优解 x x x

A x = b A x = b Ax=b

即:

( 2 1 1 2 ) ( x 1 x 2 ) = ( 3 4 ) \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 3 \\ 4 \end{pmatrix} (2112)(x1x2)=(34)

解得:

x 1 = 1 , x 2 = 2 x_1 = 1, \quad x_2 = 2 x1=1,x2=2

因此,最优解为:

x = ( 1 2 ) x = \begin{pmatrix} 1 \\ 2 \end{pmatrix} x=(12)

这个例子展示了正定矩阵在优化问题中的应用,确保了二次型问题的解的存在性与唯一性。

你可能感兴趣的:(线性代数,矩阵)