多元函数的极值

多元函数的极值

小象实战讲义 · 人工智能数学基础

在人工智能的许多核心算法中，如神经网络的梯度下降训练、支持向量机的优化问题，其本质都是在寻找某个多元函数（如损失函数、目标函数）的“最优”值点——即极值点。本节我们将系统学习多元函数极值的定义、寻找极值点的必要条件与充分条件，并掌握利用梯度与海塞矩阵进行判断和计算的完整方法。学完本节，你将能够分析并求解一个多元优化问题的潜在极值点。

💡 核心导读

本节我们将沿着以下路径，将一元函数的极值理论推广到多元世界：

1. 定义推广：理解多元函数极大值与极小值的严格定义，其几何直观与一元情形类似。
2. 必要条件：掌握“可微函数在极值点处梯度为零”这一核心定理，并认识其逆命题不成立。
3. 充分条件：学习如何利用海塞矩阵（二阶导数矩阵）的正定性、负定性来判断稳定点是极大值点、极小值点还是鞍点。
4. 计算流程：通过一个二元函数实例，演练从求稳定点到利用海塞矩阵判定的完整求解步骤。

多元函数极值的定义

设 $n$ 元函数 $f(\mathbf{x}) = f(x_1, x_2, \dots, x_n)$ 在区域 $D \subset \mathbb{R}^n$ 上有定义，$\mathbf{x}_0 = (x_1^0, x_2^0, \dots, x_n^0)$ 是 $D$ 的一个内点。

• 极大值：如果存在点 $\mathbf{x}_0$ 的某个邻域 $U(\mathbf{x}_0) \subset D$，使得对于该邻域内任意一点 $\mathbf{x}$，都有 $$f(\mathbf{x}) \le f(\mathbf{x}_0)$$ 则称 $f(\mathbf{x}_0)$ 是函数 $f(\mathbf{x})$ 的一个极大值，$\mathbf{x}_0$ 称为极大值点。
• 极小值：如果存在点 $\mathbf{x}_0$ 的某个邻域 $U(\mathbf{x}_0) \subset D$，使得对于该邻域内任意一点 $\mathbf{x}$，都有 $$f(\mathbf{x}) \ge f(\mathbf{x}_0)$$ 则称 $f(\mathbf{x}_0)$ 是函数 $f(\mathbf{x})$ 的一个极小值，$\mathbf{x}_0$ 称为极小值点。

极大值与极小值统称为极值，极大值点与极小值点统称为极值点。

几何直观：以二元函数 $z = f(x, y)$ 为例，其图像是一个曲面。极大值点对应曲面上一个“山峰”的峰顶，极小值点则对应一个“山谷”的谷底。例如，函数 $z = x^2 + y^2$ 的图像是一个旋转抛物面，点 $(0,0)$ 就是它的极小值点。

极值的必要条件：梯度为零

在一元函数中，我们熟知费马引理：如果可导函数 $f(x)$ 在 $x_0$ 处取得极值，则 $f’(x_0) = 0$。这个结论可以完美地推广到多元可微函数。

定理（极值的必要条件）：如果 $n$ 元函数 $f(\mathbf{x})$ 在点 $\mathbf{x}_0$ 处可微，且在该点取得极值（极大值或极小值），那么函数在该点的梯度为零向量，即 $$\nabla f(\mathbf{x}_0) = \mathbf{0}.$$ 其中梯度 $\nabla f(\mathbf{x}_0) = \left( \frac{\partial f}{\partial x_1}(\mathbf{x}_0), \frac{\partial f}{\partial x_2}(\mathbf{x}_0), \dots, \frac{\partial f}{\partial x_n}(\mathbf{x}_0) \right)^T$。

证明思路：固定其他变量，只考虑第 $i$ 个变量 $x_i$，构造一元辅助函数 $\phi_i(t) = f(x_1^0, \dots, x_{i-1}^0, t, x_{i+1}^0, \dots, x_n^0)$。由于 $f$ 在 $\mathbf{x}_0$ 处取得极值，$\phi_i(t)$ 必然在 $t = x_i^0$ 处取得极值。根据一元函数的费马引理，有 $\phi_i’(x_i^0) = 0$，即 $\frac{\partial f}{\partial x_i}(\mathbf{x}_0) = 0$。这对所有 $i=1,\dots,n$ 都成立，故梯度为零。

满足 $\nabla f(\mathbf{x}_0) = \mathbf{0}$ 的点 $\mathbf{x}_0$ 称为函数 $f$ 的稳定点（或驻点、临界点）。

重要提醒：该条件是必要但不充分的。梯度为零的点不一定是极值点。例如，二元函数 $f(x, y) = y^2 - x^2$ 在 $(0,0)$ 处的梯度为零，但该点是一个鞍点（沿 $y$ 轴方向是极小，沿 $x$ 轴方向是极大），并非极值点。

极值的充分条件：海塞矩阵判定

对于一元函数，我们利用二阶导数 $f”(x_0)$ 的符号来判断稳定点 $x_0$ 的类型：$f”(x_0) > 0$ 为极小值，$f”(x_0) < 0$ 为极大值，$f”(x_0) = 0$ 时无法判断。在多元情形下，二阶导数的角色由海塞矩阵扮演。

定义（海塞矩阵）：设 $n$ 元函数 $f(\mathbf{x})$ 具有二阶连续偏导数，则其海塞矩阵 $\mathbf{H}(\mathbf{x})$ 是一个 $n \times n$ 的对称矩阵，其第 $i$ 行第 $j$ 列的元素为二阶偏导数： $$H_{ij}(\mathbf{x}) = \frac{\partial^2 f}{\partial x_i \partial x_j}(\mathbf{x}).$$

定理（极值的充分条件）：设 $n$ 元函数 $f(\mathbf{x})$ 在点 $\mathbf{x}_0$ 的某邻域内具有二阶连续偏导数，且 $\nabla f(\mathbf{x}_0) = \mathbf{0}$（即 $\mathbf{x}_0$ 是稳定点）。记 $\mathbf{H}_0 = \mathbf{H}(\mathbf{x}_0)$ 为该点的海塞矩阵。

1. 如果 $\mathbf{H}_0$ 是正定矩阵，则 $f(\mathbf{x})$ 在 $\mathbf{x}_0$ 处取得极小值。
2. 如果 $\mathbf{H}_0$ 是负定矩阵，则 $f(\mathbf{x})$ 在 $\mathbf{x}_0$ 处取得极大值。
3. 如果 $\mathbf{H}_0$ 是不定矩阵，则 $\mathbf{x}_0$ 不是极值点（是鞍点）。
4. 如果 $\mathbf{H}_0$ 是半正定或半负定矩阵，则该定理无法判定，需用其他方法。

证明思路（泰勒展开）：利用 $f(\mathbf{x})$ 在 $\mathbf{x}_0$ 处的二阶泰勒公式： $$f(\mathbf{x}) = f(\mathbf{x}_0) + \nabla f(\mathbf{x}_0)^T (\mathbf{x} - \mathbf{x}_0) + \frac{1}{2} (\mathbf{x} - \mathbf{x}_0)^T \mathbf{H}(\boldsymbol{\xi}) (\mathbf{x} - \mathbf{x}_0)$$ 其中 $\boldsymbol{\xi}$ 位于 $\mathbf{x}_0$ 与 $\mathbf{x}$ 的连线上。由于 $\nabla f(\mathbf{x}_0) = \mathbf{0}$，且 $\mathbf{H}(\mathbf{x})$ 连续，当 $\mathbf{x}$ 充分接近 $\mathbf{x}_0$ 时，$\mathbf{H}(\boldsymbol{\xi})$ 的性质由 $\mathbf{H}_0$ 决定。因此，$f(\mathbf{x}) - f(\mathbf{x}_0)$ 的符号由二次型 $(\mathbf{x} - \mathbf{x}_0)^T \mathbf{H}_0 (\mathbf{x} - \mathbf{x}_0)$ 主导。根据正定、负定、不定的定义，即可得出结论。

二元函数特例：对于 $f(x, y)$，海塞矩阵为 $$\mathbf{H}(x, y) = \begin{bmatrix} f_{xx} & f_{xy} \ f_{yx} & f_{yy} \end{bmatrix}.$$ 在稳定点 $(x_0, y_0)$ 处，记 $A = f_{xx}(x_0, y_0)$, $B = f_{xy}(x_0, y_0)$, $C = f_{yy}(x_0, y_0)$。判别法则可简化为：

• 若 $AC - B^2 > 0$ 且 $A > 0$，则 $\mathbf{H}_0$ 正定，$f$ 取极小值。
• 若 $AC - B^2 > 0$ 且 $A < 0$，则 $\mathbf{H}_0$ 负定，$f$ 取极大值。
• 若 $AC - B^2 < 0$，则 $\mathbf{H}_0$ 不定，$(x_0, y_0)$ 是鞍点。
• 若 $AC - B^2 = 0$，则无法判定。

计算实例与 Python 验证

让我们通过一个具体例子来演练整个求解流程。

例：求函数 $f(x, y) = x^2 + 3xy + 3y^2 - 6x - 3y$ 的极值。

解：

1. 求稳定点（梯度为零）： $$\begin{aligned} \frac{\partial f}{\partial x} &= 2x + 3y - 6 = 0 \ \frac{\partial f}{\partial y} &= 3x + 6y - 3 = 0 \end{aligned}$$ 解此线性方程组，得唯一稳定点：$(x_0, y_0) = (9, -4)$。

2. 计算海塞矩阵： $$\begin{aligned} \frac{\partial^2 f}{\partial x^2} &= 2, \ \frac{\partial^2 f}{\partial x \partial y} &= 3, \ \frac{\partial^2 f}{\partial y^2} &= 6. \end{aligned}$$ 故海塞矩阵为常数矩阵： $$\mathbf{H} = \begin{bmatrix} 2 & 3 \ 3 & 6 \end{bmatrix}.$$

3. 判断海塞矩阵在稳定点处的正定性： 在点 $(9, -4)$ 处，$\mathbf{H}_0 = \mathbf{H}$。

   • 一阶顺序主子式：$2 > 0$。
   • 二阶顺序主子式（行列式）：$2 \times 6 - 3 \times 3 = 12 - 9 = 3 > 0$。 因为所有顺序主子式均大于零，所以 $\mathbf{H}_0$ 是正定矩阵。

4. 结论：根据极值的充分条件，函数 $f(x, y)$ 在点 $(9, -4)$ 处取得极小值。极小值为 $f(9, -4) = 9^2 + 3\times9\times(-4) + 3\times(-4)^2 - 6\times9 - 3\times(-4) = -21$。

下面我们用 Python 的 SymPy 库来验证上述计算过程。

import sympy as sp
import numpy as np

# 定义符号变量和函数
x, y = sp.symbols('x y')
f = x**2 + 3*x*y + 3*y**2 - 6*x - 3*y

print("函数 f(x, y) =", f)
print("-" * 40)

# 1. 计算梯度（一阶偏导数）
f_x = sp.diff(f, x)
f_y = sp.diff(f, y)
print("偏导数 f_x =", f_x)
print("偏导数 f_y =", f_y)
print("-" * 40)

# 2. 求解稳定点 (f_x = 0, f_y = 0)
# 使用 dict=True 确保返回值为字典列表，便于处理
stationary_points = sp.solve([f_x, f_y], (x, y), dict=True)
print("稳定点（驻点）:", stationary_points)
print("-" * 40)

# 3. 计算海塞矩阵（二阶偏导数矩阵）
H = sp.hessian(f, (x, y))
print("海塞矩阵 H =")
sp.pprint(H)
print("-" * 40)

# 4. 在稳定点处判断海塞矩阵的正定性
for point in stationary_points:
    x_val, y_val = point[x], point[y]
    print(f"在稳定点 ({x_val}, {y_val}) 处：")
    
    # 代入稳定点坐标，得到数值矩阵
    H_at_point = H.subs({x: x_val, y: y_val})
    H_np = np.array(H_at_point, dtype=float)
    print("海塞矩阵为：\n", H_np)
    
    # 计算顺序主子式
    det1 = H_np[0, 0]  # 一阶主子式
    det2 = np.linalg.det(H_np)  # 二阶主子式（行列式）
    print(f"  一阶顺序主子式 = {det1:.2f}")
    print(f"  二阶顺序主子式（行列式） = {det2:.2f}")
    
    # 根据主子式判断正定性（针对2x2矩阵）
    if det1 > 0 and det2 > 0:
        print("  -> 海塞矩阵正定，该点为极小值点。")
        f_val = f.subs({x: x_val, y: y_val})
        print(f"  极值 f({x_val}, {y_val}) = {f_val}")
    elif det1 < 0 and det2 > 0:
        print("  -> 海塞矩阵负定，该点为极大值点。")
        f_val = f.subs({x: x_val, y: y_val})
        print(f"  极值 f({x_val}, {y_val}) = {f_val}")
    elif det2 < 0:
        print("  -> 海塞矩阵不定，该点为鞍点（非极值点）。")
    else:
        print("  -> 无法由海塞矩阵直接判定（半定情况）。")
    print("-" * 40)

📝 动手练一练

1. 求稳定点：求函数 $g(x, y) = x^3 + y^3 - 3xy$ 的所有稳定点（驻点）。
2. 判断极值：对于上题求得的稳定点，利用海塞矩阵判断哪些是极值点，并说明是极大值还是极小值。

参考答案：

1. 解方程组 $\begin{cases} g_x = 3x^2 - 3y = 0 \ g_y = 3y^2 - 3x = 0 \end{cases}$。由第一个方程得 $y = x^2$，代入第二个方程得 $3(x^2)^2 - 3x = 3x(x^3 - 1) = 0$，解得 $x=0$ 或 $x=1$。对应地，$y=0$ 或 $y=1$。因此稳定点为 $(0, 0)$ 和 $(1, 1)$。
2. 海塞矩阵为 $\mathbf{H} = \begin{bmatrix} 6x & -3 \ -3 & 6y \end{bmatrix}$。
   • 在 $(0,0)$ 处，$\mathbf{H} = \begin{bmatrix} 0 & -3 \ -3 & 0 \end{bmatrix}$，行列式 $AC-B^2 = 0\times0 - (-3)^2 = -9 < 0$，故为不定矩阵，$(0,0)$ 是鞍点。
   • 在 $(1,1)$ 处，$\mathbf{H} = \begin{bmatrix} 6 & -3 \ -3 & 6 \end{bmatrix}$，$A=6>0$，行列式 $36 - 9 = 27 > 0$，故为正定矩阵，$(1,1)$ 是极小值点。

本章小结

本节我们将一元函数的极值理论系统地推广到了多元函数：

• 定义核心：多元函数极值的定义与一元函数在思想上完全一致，关注函数在某个点邻域内的相对大小。
• 寻找候选点：可微函数取得极值的必要条件是梯度在该点为零向量。满足此条件的点称为稳定点（驻点），它们是极值点的“候选人”。
• 鉴定候选人：利用海塞矩阵（二阶导数矩阵）在稳定点处的正负定性，可以给出极值存在的充分条件：正定对应极小值，负定对应极大值，不定则对应鞍点（非极值点）。
• 标准流程：求解多元函数极值的一般步骤为：1) 求梯度并解方程得稳定点；2) 计算海塞矩阵；3) 在稳定点处判断海塞矩阵的正定性。

行动清单

1. 手动推导：任选一个二元函数（如 $f(x,y)=x^4+y^4-4xy+1$），完整重复“求稳定点->算海塞矩阵->判断正定性”的笔算流程。
2. 代码验证：将你手动计算的例子用上面的 Python 代码模板进行验证，确保理解代码每一步的含义。
3. 概念反思：思考“梯度为零”为什么只是极值的必要条件而非充分条件？尝试画出或想象一个二元函数鞍点（如 $f(x,y)=xy$）的图像，加深理解。

— 小象教研组