二次型与正定矩阵

二次型与正定矩阵

小象实战讲义 · 人工智能数学基础

在多元函数极值分析中，我们曾提到海塞矩阵的正定性决定了函数的凹凸性。本节将系统学习这一关键概念背后的数学理论—二次型与正定矩阵。我们将从多元二次多项式的矩阵表示出发，理解如何通过坐标变换简化其形式，并最终掌握判断矩阵正定性的多种方法，为后续的最优化理论奠定坚实的代数基础。

💡 核心导读

• 二次型的矩阵表示：任何 $n$ 元二次齐次多项式都可以唯一地表示为一个对称矩阵 $A$ 的二次型 $X^T A X$。
• 合同变换与标准型：通过可逆的线性替换（合同变换），可以将二次型化为只含平方项的标准型，这对应于将对称矩阵合同对角化。
• 正定性的本质：正定二次型（矩阵）意味着对于任何非零向量，其二次型值恒为正。这等价于矩阵的所有特征值大于零，或合同于单位矩阵。
• 实用的判定准则：对于实对称矩阵，其正定性的充要条件是所有顺序主子式大于零，这是一个非常便于计算验证的判据。

二次型的基本概念与矩阵表示

一个 $n$ 元二次型是指关于 $n$ 个变量 $x_1, x_2, \dots, x_n$ 的二次齐次多项式，其一般形式为： $$f(x_1, x_2, \dots, x_n) = a_{11}x_1^2 + 2a_{12}x_1x_2 + \dots + 2a_{1n}x_1x_n + a_{22}x_2^2 + \dots + a_{nn}x_n^2.$$ 其中，$x_i x_j$ 与 $x_j x_i$ 是同类项，因此我们总可以合并，并约定其系数满足 $a_{ij} = a_{ji}$。这使得所有交叉项的系数可以对称地表示。

引入列向量 $X = (x_1, x_2, \dots, x_n)^T$，我们可以将上述二次型简洁地表示为矩阵形式： $$f(X) = X^T A X,$$ 其中 $A$ 是一个 $n$ 阶实对称矩阵，其元素 $A_{ij} = a_{ij}$。具体展开为： $$X^T A X = \begin{pmatrix} x_1 & x_2 & \dots & x_n \end{pmatrix} \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1n} \ a_{12} & a_{22} & \dots & a_{2n} \ \vdots & \vdots & \ddots & \vdots \ a_{1n} & a_{2n} & \dots & a_{nn} \end{pmatrix} \begin{pmatrix} x_1 \ x_2 \ \vdots \ x_n \end{pmatrix}.$$ 矩阵 $A$ 称为该二次型的系数矩阵。

几何背景：二次型对应于 $n$ 维空间中的二次曲面（如二维的圆锥曲线、三维的椭球面、双曲面等）。研究二次型的一个核心目标是，能否通过坐标变换（即换一组基）来简化其表达式，消除交叉项，使其只包含平方项。这在代数上对应于将对称矩阵合同对角化。

合同变换与二次型的标准型

为了研究上述坐标变换，我们引入两个关键定义。

定义1（非退化线性替换）：设 $X, Y$ 是两组 $n$ 维变量，若存在一个 $n$ 阶可逆矩阵 $C$，使得 $$X = C Y,$$ 则称此变换为一个非退化线性替换。“非退化”源于 $C$ 可逆，保证了变换前后自由度不变，信息无损失。

定义2（等价二次型）：设 $f(X) = X^T A X$ 与 $g(Y) = Y^T B Y$ 是两个 $n$ 元二次型。若存在一个非退化线性替换 $X = C Y$，使得 $f(X) = g(Y)$，则称这两个二次型等价。

将 $X = C Y$ 代入 $f(X)$： $$f(X) = (C Y)^T A (C Y) = Y^T (C^T A C) Y.$$ 由于 $f(X) = g(Y) = Y^T B Y$ 对任意 $Y$ 成立，因此有 $C^T A C = B$。这引出了矩阵的合同概念。

定义3（合同矩阵）：对于两个 $n$ 阶矩阵 $A$ 和 $B$，如果存在一个可逆矩阵 $C$，使得 $$C^T A C = B,$$ 则称 $A$ 与 $B$ 合同。

因此，两个二次型等价，当且仅当它们的系数矩阵合同。我们的核心问题转化为：对于一个实对称矩阵 $A$，能否找到一个可逆矩阵 $C$，使得 $C^T A C$ 是一个对角矩阵 $\Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_n)$？

答案是肯定的。回顾上一节关于实对称矩阵的结论：任何 $n$ 阶实对称矩阵 $A$ 都可以正交相似于一个对角矩阵。即存在正交矩阵 $T$（满足 $T^{-1} = T^T$），使得 $$T^{-1} A T = T^T A T = \Lambda.$$ 这正是矩阵的合同关系 $C^T A C = \Lambda$，其中 $C = T$ 是可逆的。因此，任何实对称矩阵都合同于一个对角矩阵。

对应到二次型上，这意味着总可以通过一个非退化线性替换 $X = T Y$，将二次型 $X^T A X$ 化为： $$Y^T \Lambda Y = \lambda_1 y_1^2 + \lambda_2 y_2^2 + \dots + \lambda_n y_n^2.$$ 这种只含平方项的形式称为二次型的标准型。对角矩阵 $\Lambda$ 对角线上的元素 $\lambda_i$ 是 $A$ 的特征值。

import numpy as np
import sympy as sp

# 示例：将二次型化为标准型
# 定义二次型 f = 2x1^2 + 2x2^2 + 2x3^2 + 2x1x2 + 2x1x3
# 其系数矩阵 A
A = np.array([[2, 1, 1],
              [1, 2, 0],
              [1, 0, 2]])

# 验证A是对称矩阵
print("矩阵A：\n", A)
print("A是否对称？", np.allclose(A, A.T))

# 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eig(A)
print("\n特征值：", eigenvalues)
print("特征向量矩阵（列向量）：\n", eigenvectors)

# 验证正交矩阵性质（实对称矩阵的特征向量矩阵是正交矩阵）
T = eigenvectors
print("\nT^T * T 是否近似单位阵？\n", np.round(T.T @ T, 10))

# 验证合同对角化：T^T * A * T 应为对角阵
Lambda = T.T @ A @ T
print("\n合同对角化结果 T^T * A * T：\n", np.round(Lambda, 10))
# 对角线元素应为特征值
print("对角线元素（应与特征值对应）:", np.diag(np.round(Lambda, 10)))

正定二次型与正定矩阵

在优化问题中，我们关心二次型取值的符号。

定义4（正定二次型）：设 $f(X) = X^T A X$ 是一个实二次型。如果对于任意非零列向量 $X \in \mathbb{R}^n$，都有 $$f(X) = X^T A X > 0,$$ 则称 $f(X)$ 为正定二次型。

定义5（正定矩阵）：若实对称矩阵 $A$ 对应的二次型 $X^T A X$ 是正定的，则称 $A$ 为正定矩阵。简言之，正定矩阵是正定的实对称矩阵的简称。

正定矩阵在多元函数极值判别中扮演着“二阶导数大于0”的角色。若函数在某点的海塞矩阵（二阶偏导数构成的对称矩阵）正定，则该点为局部极小值点。

正定矩阵的等价刻画

设 $A$ 为 $n$ 阶实对称矩阵，则以下命题等价：

1. $A$ 是正定矩阵。
2. $A$ 合同于单位矩阵 $I$，即存在可逆矩阵 $C$，使得 $C^T A C = I$。
3. $A$ 的所有特征值 $\lambda_1, \lambda_2, \dots, \lambda_n$ 均为正数。
4. $A$ 的各阶顺序主子式均大于零。

顺序主子式是指：取矩阵 $A$ 的前 $k$ 行和前 $k$ 列构成的子矩阵的行列式，记为 $\Delta_k$，其中 $k = 1, 2, \dots, n$。

部分结论的说明：

• (1) $\Leftrightarrow$ (2)：若 $A$ 正定，其特征值全为正数 $\lambda_i > 0$。令 $D = \operatorname{diag}(\lambda_1, \dots, \lambda_n)$，则 $A$ 合同于 $D$。取 $P = \operatorname{diag}(1/\sqrt{\lambda_1}, \dots, 1/\sqrt{\lambda_n})$，则有 $P^T D P = I$。由于合同关系具有传递性，故 $A$ 合同于 $I$。反之，若 $A$ 合同于 $I$，则对任意非零 $X$，令 $Y = C^{-1}X$（亦非零），有 $X^T A X = Y^T (C^T A C) Y = Y^T I Y = Y^T Y > 0$，故 $A$ 正定。
• (1) $\Leftrightarrow$ (3)：$A$ 正交相似于特征值对角阵 $D$，即 $A$ 合同于 $D$。$A$ 正定当且仅当 $D$ 正定，而对角矩阵 $D$ 正定等价于其对角线元素（即特征值）全大于零。
• (1) $\Leftrightarrow$ (4)：此为Sylvester 定理，其证明思路基于数学归纳法和矩阵分块，是判定正定性最常用的计算工具。

import numpy as np

# 示例：判断矩阵的正定性
def is_positive_definite(matrix):
    """
    通过三种方法判断实对称矩阵是否正定。
    1. 检查所有特征值是否大于0。
    2. 检查所有顺序主子式是否大于0。
    3. 尝试进行Cholesky分解（仅对正定矩阵成功）。
    """
    A = np.array(matrix, dtype=float)
    n = A.shape[0]
    
    # 方法1：特征值判据
    eigvals = np.linalg.eigvals(A)
    all_eig_positive = np.all(eigvals > 0)
    
    # 方法2：顺序主子式判据
    leading_principal_minors = []
    all_minors_positive = True
    for k in range(1, n+1):
        minor = np.linalg.det(A[:k, :k])
        leading_principal_minors.append(minor)
        if minor <= 0:
            all_minors_positive = False
    
    # 方法3：Cholesky分解
    try:
        L = np.linalg.cholesky(A) # 若成功，则A正定
        cholesky_success = True
    except np.linalg.LinAlgError:
        cholesky_success = False
    
    print(f"矩阵：\n{A}")
    print(f"特征值：{eigvals} -> 全大于0: {all_eig_positive}")
    print(f"顺序主子式 (1到{n}阶): {leading_principal_minors} -> 全大于0: {all_minors_positive}")
    print(f"Cholesky分解成功: {cholesky_success}")
    print(f"综合判断为正定矩阵: {all_eig_positive and all_minors_positive and cholesky_success}\n")
    return all_eig_positive

# 测试一个正定矩阵
A_pos = np.array([[4, 1, 0],
                  [1, 5, 2],
                  [0, 2, 6]])
is_positive_definite(A_pos)

# 测试一个非正定矩阵（有负特征值）
A_neg = np.array([[1, 2, 3],
                  [2, 1, 2],
                  [3, 2, 1]])
is_positive_definite(A_neg)

# 测试一个半正定矩阵（有零特征值，即正文练习1中的系数矩阵）
A_semi = np.array([[1, 1, 1],
                   [1, 2, 0],
                   [1, 0, 2]])
print("半正定矩阵测试:")
is_positive_definite(A_semi) # 特征值为 0, 2, 3：三种判据均失败

其他定号性

类似地，我们可以定义其他定号性：

• 半正定：对任意非零 $X \in \mathbb{R}^n$，有 $X^T A X \geq 0$。等价于所有特征值 $\lambda_i \geq 0$。
• 负定：对任意非零 $X \in \mathbb{R}^n$，有 $X^T A X < 0$。等价于 $-A$ 为正定矩阵。
• 半负定：对任意非零 $X \in \mathbb{R}^n$，有 $X^T A X \leq 0$。等价于所有特征值 $\lambda_i \leq 0$。
• 不定：既不是正定、负定、半正定，也不是半负定。

📝 动手练一练

1. 写出二次型的矩阵：将二次型 $f(x_1, x_2, x_3) = x_1^2 + 2x_2^2 + 2x_3^2 + 2x_1x_2 + 2x_1x_3$ 写成矩阵形式 $X^T A X$，并判断其正定性。 提示：先写出对称矩阵 $A$，然后计算其特征值或顺序主子式。

2. 利用顺序主子式判定：判断下列矩阵是否为正定矩阵。 $$B = \begin{pmatrix} 2 & -1 & 0 \ -1 & 2 & -1 \ 0 & -1 & 2 \end{pmatrix}, \quad C = \begin{pmatrix} 1 & 2 & 1 \ 2 & 1 & 2 \ 1 & 2 & 1 \end{pmatrix}.$$

参考答案：

1. 系数矩阵 $A = \begin{pmatrix}1 & 1 & 1 \ 1 & 2 & 0 \ 1 & 0 & 2\end{pmatrix}$。 a) 顺序主子式：$\Delta_1 = 1 > 0$， $\Delta_2 = \begin{vmatrix}1&1\1&2\end{vmatrix}=1 > 0$， $\Delta_3 = \det(A) = 0$。由于三阶顺序主子式等于0，不满足全大于0，故矩阵 $A$ 不是正定的。 b) 计算特征值：$\lambda_1=0, \lambda_2=2, \lambda_3=3$。存在零特征值，验证了其为半正定矩阵。 c) 一个标准型为 $f = 2y_2^2 + 3y_3^2$。

2. 对于矩阵 $B$： 一阶顺序主子式：$2 > 0$。 二阶顺序主子式：$\begin{vmatrix}2&-1\-1&2\end{vmatrix} = 3 > 0$。 三阶顺序主子式：$\det(B) = 2*(2$2 - (-1)(-1)) - (-1)((-1)2 - 0(-1)) = 23 + 1*(-2) = 4 > 0。 所有顺序主子式大于0，故 $B$ 是正定矩阵。 对于矩阵 $C$： 一阶顺序主子式：$1 > 0$。 二阶顺序主子式：$\begin{vmatrix}1&2\2&1\end{vmatrix} = -3 < 0$。 不满足所有顺序主子式大于0，故 $C$ 不是正定矩阵。计算其特征值可发现其有负值，为不定矩阵。

本章小结

本节我们建立了从多元二次多项式到对称矩阵的桥梁，并深入探讨了其核心性质。

要点回顾：

• 二次型 $X^T A X$ 是研究多元二次曲面的代数工具，其中 $A$ 为实对称矩阵。
• 通过非退化线性替换（合同变换 $C^T A C$）可将二次型化为标准型，这对应于寻找矩阵的合同对角化。
• 正定矩阵（$X^T A X > 0, \forall X \neq 0$）是优化中凸性的判别依据，它有多种等价刻画：合同于单位阵、特征值全正、顺序主子式全正。

行动清单：

1. 强化概念关联：面对一个多元二次函数，尝试立刻写出其海塞矩阵，并思考其正定性与函数图形凹凸性的关系。
2. 掌握计算工具：对于给定的实对称矩阵，熟练使用 numpy.linalg.eig 计算特征值，或手动计算其顺序主子式，来判定其正定性。
3. 代码验证：运行讲义中的代码示例，修改矩阵参数，观察正定、半正定、不定矩阵的特征值、主子式及 Cholesky 分解结果的差异，加深数值理解。

— 小象教研组