若干知识点补充（一）

距离、范数、矩阵求导与广义逆

小象实战讲义 · 人工智能数学基础

在优化理论中，我们即将从无约束优化迈入有约束优化的领域。为了后续学习的顺利进行，本节将补充四个关键的数学工具：距离与范数、矩阵求导以及广义逆。这些概念是理解凸优化、对偶理论以及更复杂机器学习模型（如正则化方法）的基石。掌握它们，你将能更精确地描述优化问题的性质，并理解算法背后的数学逻辑。

💡 核心导读

本节将为你建立以下知识框架：

1. 距离的抽象定义：从直观的两点间“长度”上升到满足三条公理的映射，理解度量空间。
2. 范数的本质与常见类型：学习作为向量“大小”度量的范数，重点掌握 $L_1$、$L_2$ 和 $L_\infty$ 范数及其在机器学习正则化中的应用。
3. 矩阵求导的实质：揭示矩阵求导即多元函数求导的本质，掌握梯度与黑塞矩阵的矩阵表示法及其常用公式。
4. 广义逆的概念：了解针对非方阵的“逆”的推广，认识其存在性与唯一性条件。

1. 距离：从直观到公理化

我们日常生活中所说的“距离”在数学中有其严格且抽象的定义。它不仅仅指欧几里得空间中的直线长度，而是一个满足特定条件的映射。

定义（距离/度量）：设 $X$ 是一个集合（例如 $\mathbb{R}^n$ 或其子集）。若映射 $d: X \times X \to \mathbb{R}$ 满足以下三条性质，则称 $d$ 为 $X$ 上的一个距离（或度量），称 $(X, d)$ 为一个度量空间。

1. 正定性：$\forall x, y \in X$，有 $d(x, y) \ge 0$，且 $d(x, y) = 0 \iff x = y$。
2. 对称性：$\forall x, y \in X$，有 $d(x, y) = d(y, x)$。
3. 三角不等式：$\forall x, y, z \in X$，有 $d(x, z) \le d(x, y) + d(y, z)$。

这个定义的核心在于，距离是一个函数，其输入是集合中的一对元素，输出是一个非负实数，并且这个函数必须遵守上述三条规则。

常见距离示例：

1. 欧氏距离：在 $\mathbb{R}^n$ 中，对于向量 $\mathbf{x} = (x_1, \dots, x_n)^\top$ 和 $\mathbf{y} = (y_1, \dots, y_n)^\top$，定义 $$d_2(\mathbf{x}, \mathbf{y}) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}.$$ 这是最直观的距离，满足上述三条公理。
2. 切比雪夫距离：在 $\mathbb{R}^n$ 中，定义 $$d_\infty(\mathbf{x}, \mathbf{y}) = \max_{1 \le i \le n} |x_i - y_i|.$$ 它衡量的是各维度坐标差的最大值，同样构成一个有效的距离。

2. 范数：向量大小的度量

如果说距离度量了两个点之间的“远近”，那么范数则度量了单个向量（点）的“大小”或“长度”。

定义（范数）：设 $X$ 是一个线性空间（例如 $\mathbb{R}^n$）。若映射 $|\cdot|: X \to \mathbb{R}$ 满足以下四条性质，则称 $|\cdot|$ 为 $X$ 上的一个范数，称 $(X, |\cdot|)$ 为线性赋范空间。

1. 正定性：$\forall \mathbf{x} \in X$，有 $|\mathbf{x}| \ge 0$。
2. 确定性：$|\mathbf{x}| = 0 \iff \mathbf{x} = \mathbf{0}$。
3. 齐次性：$\forall \alpha \in \mathbb{R}$（或 $\mathbb{C}$），$\forall \mathbf{x} \in X$，有 $|\alpha \mathbf{x}| = |\alpha| \cdot |\mathbf{x}|$。
4. 三角不等式：$\forall \mathbf{x}, \mathbf{y} \in X$，有 $|\mathbf{x} + \mathbf{y}| \le |\mathbf{x}| + |\mathbf{y}|$。

常见范数示例（在 $\mathbb{R}^n$ 上）： 对于向量 $\mathbf{x} = (x_1, \dots, x_n)^\top$，

• $L_1$ 范数（曼哈顿范数）：$|\mathbf{x}|$1 = \sum{i=1}^{n} |x_i|。
• $L_2$ 范数（欧几里得范数）：$|\mathbf{x}|$2 = \sqrt{\sum{i=1}^{n} x_i^2}。
• $L_\infty$ 范数（无穷范数）：$|\mathbf{x}|$\infty = \max{1 \le i \le n} |x_i|。
• $L_p$ 范数（一般形式）：$|\mathbf{x}|$p = \left( \sum{i=1}^{n} |x_i|^p \right)^{1/p}, \quad p \ge 1。 可以验证，当 $p=1, 2$ 时，即为 $L_1$ 和 $L_2$ 范数；并且 $\lim_{p \to \infty} |\mathbf{x}|$p = |\mathbf{x}|\infty。

距离与范数的关系：给定一个范数 $|\cdot|$，我们可以自然地诱导出一个距离： $$d(\mathbf{x}, \mathbf{y}) = |\mathbf{x} - \mathbf{y}|.$$ 例如，由 $L_2$ 范数诱导出的距离就是欧氏距离。

机器学习中的意义：$L_1$ 和 $L_2$ 范数是正则化（Regularization）的核心工具。在损失函数中加入参数的 $L_2$ 范数惩罚项，即得到岭回归（Ridge Regression）；加入 $L_1$ 范数惩罚项，则得到LASSO回归。前者倾向于让所有参数都较小，后者则能产生稀疏解（部分参数精确为零），常用于特征选择。

import numpy as np

# 定义向量
x = np.array([1, -2, 3, -4, 5])

# 计算不同范数
l1_norm = np.linalg.norm(x, ord=1)   # L1 范数
l2_norm = np.linalg.norm(x, ord=2)   # L2 范数（默认）
linf_norm = np.linalg.norm(x, ord=np.inf) # L∞ 范数
lp_norm = np.linalg.norm(x, ord=3)   # L3 范数

print(f"向量 x = {x}")
print(f"L1 范数: {l1_norm:.4f} (计算: {np.sum(np.abs(x))})")
print(f"L2 范数: {l2_norm:.4f} (计算: {np.sqrt(np.sum(x**2)):.4f})")
print(f"L∞ 范数: {linf_norm:.4f} (计算: {np.max(np.abs(x))})")
print(f"L3 范数: {lp_norm:.4f}")

3. 矩阵求导：多元函数求导的简洁表达

矩阵求导（或称矩阵微商）本质上就是多元函数的求导。其特殊性在于，它采用矩阵和向量的记号，使得表达式极其简洁，便于记忆和推导，尤其在优化理论中广泛应用。

核心思想：考虑一个 $n$ 元实值函数 $f(\mathbf{x}) = f(x_1, x_2, \dots, x_n)$，其中 $\mathbf{x} \in \mathbb{R}^n$。它的梯度（一阶导）和黑塞矩阵（二阶导）定义为：

• 梯度（Gradient）：一个向量，由 $f$ 对所有自变量的偏导数组成。 $$\nabla f(\mathbf{x}) = \frac{\partial f}{\partial \mathbf{x}} = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right)^\top$$ 在优化中，负梯度方向 $-\nabla f(\mathbf{x})$ 常作为函数值下降最快的方向（最速下降法）。

• 黑塞矩阵（Hessian Matrix）：一个 $n \times n$ 的对称矩阵，由 $f$ 的所有二阶偏导数组成。 $$\nabla^2 f(\mathbf{x}) = \mathbf{H}_f(\mathbf{x}) = \begin{pmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \ \vdots & \vdots & \ddots & \vdots \ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{pmatrix}$$ 黑塞矩阵用于判断多元函数的凹凸性，并在牛顿法等二阶优化算法中起到关键作用。

常用矩阵求导公式： 设 $\mathbf{a}$ 为常数列向量，$\mathbf{A}$ 为常数对称矩阵，$\mathbf{x}$ 为变元列向量。

1. $\frac{\partial (\mathbf{a}^\top \mathbf{x})}{\partial \mathbf{x}} = \mathbf{a}$。
2. $\frac{\partial (\mathbf{x}^\top \mathbf{A} \mathbf{x})}{\partial \mathbf{x}} = 2\mathbf{A}\mathbf{x}$。（当 $\mathbf{A}$ 对称时）
3. 对于二次型 $f(\mathbf{x}) = \mathbf{x}^\top \mathbf{A} \mathbf{x}$，其梯度为 $2\mathbf{A}\mathbf{x}$，黑塞矩阵为 $2\mathbf{A}$。

公式2的推导是理解矩阵求导的绝佳例子：将二次型展开为双重求和形式，对某个 $x_k$ 求偏导，再整理成矩阵形式，即可得到上述简洁结果。

import sympy as sp

# 使用 sympy 进行符号计算，验证矩阵求导公式
x1, x2, x3 = sp.symbols('x1 x2 x3')
x = sp.Matrix([x1, x2, x3])

# 定义常数向量 a 和对称矩阵 A
a = sp.Matrix([1, 2, 3])
A = sp.Matrix([[2, 1, 0],
               [1, 3, -1],
               [0, -1, 1]])

# 定义两个函数
f_linear = a.T * x  # a^T x
f_quadratic = x.T * A * x  # x^T A x

print("1. 验证线性函数求导:")
print(f"   f(x) = {f_linear[0]}")
grad_f_linear = sp.Matrix([sp.diff(f_linear[0], var) for var in [x1, x2, x3]])
print(f"   ∂f/∂x (计算) = {grad_f_linear}")
print(f"   ∂f/∂x (公式) = {a}")
print(f"   是否相等？ {grad_f_linear.equals(a)}\n")

print("2. 验证二次型求导:")
print(f"   f(x) = {sp.simplify(f_quadratic[0])}")
grad_f_quad = sp.Matrix([sp.diff(f_quadratic[0], var) for var in [x1, x2, x3]])
print(f"   ∂f/∂x (计算) = {grad_f_quad}")
print(f"   2*A*x (公式) = {2 * A * x}")
print(f"   是否相等？ {grad_f_quad.equals(2 * A * x)}")

4. 广义逆：非方阵的“逆”

对于非方阵 $m \times n$ 矩阵 $\mathbf{A}$，不存在通常意义上的逆矩阵。广义逆（Generalized Inverse）是对逆矩阵概念的推广，在解线性方程组、最小二乘问题中至关重要。

最常用且具有唯一性的是 Moore-Penrose 广义逆，记为 $\mathbf{A}^+$。

定义（Moore-Penrose 广义逆）：对于任意矩阵 $\mathbf{A} \in \mathbb{R}^{m \times n}$，若矩阵 $\mathbf{X} \in \mathbb{R}^{n \times m}$ 同时满足以下四个 Penrose 方程：

1. $\mathbf{A} \mathbf{X} \mathbf{A} = \mathbf{A}$
2. $\mathbf{X} \mathbf{A} \mathbf{X} = \mathbf{X}$
3. $(\mathbf{A} \mathbf{X})^\top = \mathbf{A} \mathbf{X}$
4. $(\mathbf{X} \mathbf{A})^\top = \mathbf{X} \mathbf{A}$

则称 $\mathbf{X}$ 为 $\mathbf{A}$ 的 Moore-Penrose 广义逆，记作 $\mathbf{A}^+$。可以证明，对于任意矩阵 $\mathbf{A}$，$\mathbf{A}^+$ 存在且唯一。

一个更宽松的定义是只满足第一个条件 $\mathbf{A} \mathbf{X} \mathbf{A} = \mathbf{A}$ 的广义逆，记为 $\mathbf{A}^-$。这样的广义逆存在但不唯一。

存在性定理：若 $\mathbf{A}$ 的秩为 $r$，则存在可逆矩阵 $\mathbf{P}$ 和 $\mathbf{Q}$，使得 $$\mathbf{A} = \mathbf{P} \begin{pmatrix} \mathbf{I}_r & \mathbf{0} \ \mathbf{0} & \mathbf{0} \end{pmatrix} \mathbf{Q}.$$ 那么，其一个广义逆 $\mathbf{A}^-$ 可以构造为： $$\mathbf{A}^- = \mathbf{Q}^{-1} \begin{pmatrix} \mathbf{I}_r & \mathbf{B} \ \mathbf{C} & \mathbf{D} \end{pmatrix} \mathbf{P}^{-1},$$ 其中 $\mathbf{B}, \mathbf{C}, \mathbf{D}$ 为适当阶数的任意矩阵。正是由于 $\mathbf{B}, \mathbf{C}, \mathbf{D}$ 的任意性，导致 $\mathbf{A}^-$ 不唯一。

📝 动手练一练

1. 距离验证：在 $\mathbb{R}^2$ 中，对于点 $\mathbf{x}=(1,3)$ 和 $\mathbf{y}=(4,7)$，分别计算其欧氏距离 $d_2$ 和切比雪夫距离 $d_\infty$。
2. 范数与正则化：假设一个线性回归模型的参数向量为 $\mathbf{w} = (0.5, -1.2, 0.0, 3.1)$。计算其 $L_1$ 范数和 $L_2$ 范数。如果我们在损失函数中加入 $L_1$ 正则项，它会对参数 $\mathbf{w}$ 产生怎样的影响倾向？

参考答案：

1. 欧氏距离：$d_2(\mathbf{x}, \mathbf{y}) = \sqrt{(1-4)^2 + (3-7)^2} = \sqrt{9+16}=5$。 切比雪夫距离：$d_\infty(\mathbf{x}, \mathbf{y}) = \max(|1-4|, |3-7|) = \max(3, 4) = 4$。
2. $L_1$ 范数：$|\mathbf{w}|_1 = |0.5| + |-1.2| + |0.0| + |3.1| = 4.8$。 $L_2$ 范数：$|\mathbf{w}|_2 = \sqrt{0.5^2 + (-1.2)^2 + 0^2 + 3.1^2} \approx \sqrt{0.25+1.44+9.61} = \sqrt{11.3} \approx 3.36$。 $L_1$ 正则化倾向于产生稀疏解，即让部分参数（如这里的第三维参数）精确为零，从而实现特征选择。$L_2$ 正则化则倾向于让所有参数都均匀地变小，但通常不会精确为零。

本章小结

本节我们为后续的优化理论学习夯实了四个重要的数学基础：

• 距离：是一个满足正定性、对称性和三角不等式的映射，用于量化集合中两元素的“远近”。欧氏距离和切比雪夫距离是常见特例。
• 范数：是线性空间中向量“大小”的度量，满足正定性、确定性、齐次性和三角不等式。$L_1$、$L_2$、$L_\infty$ 范数及其诱导的正则化在机器学习中作用关键。
• 矩阵求导：本质是多元函数求导，但采用矩阵记号使其异常简洁。梯度向量和黑塞矩阵是分析多元函数性态的核心工具。
• 广义逆：是逆矩阵概念向非方阵的推广。Moore-Penrose 广义逆 $\mathbf{A}^+$ 满足四个 Penrose 方程，存在且唯一，是解决病态线性问题的利器。

行动清单：

1. 概念辨析：请用自己的话复述“距离”和“范数”的定义，并举例说明它们之间的联系与区别。
2. 公式推导：手动推导二次型 $f(\mathbf{x}) = \mathbf{x}^\top \mathbf{A} \mathbf{x}$（$\mathbf{A}$对称）的梯度公式 $\nabla f = 2\mathbf{A}\mathbf{x}$，加深对矩阵求导的理解。
3. 代码实践：运行本节提供的 Python 代码，并尝试修改向量 $\mathbf{x}$ 的数值，观察不同范数结果的变化规律。

— 小象教研组