欧式空间

欧式空间

小象实战讲义 · 人工智能数学基础

在从一元微积分迈向多元微积分时，我们首先需要一个能够描述多维自变量的“舞台”。本节将系统构建这个舞台——欧式空间。我们将学习如何用集合 $\mathbb{R}^n$ 表示 $n$ 维向量空间，并为其装备内积、距离等核心概念。理解欧式空间是定义多元函数、理解其极限与微分的基础，也是后续学习梯度下降、主成分分析等人工智能核心算法的数学基石。

💡 核心导读

1. 从一元到多元：理解为何需要将自变量的定义域从实数轴 $\mathbb{R}$ 推广到高维空间 $\mathbb{R}^n$。
2. 向量空间与内积：学习 $\mathbb{R}^n$ 作为 $n$ 维向量空间的定义，掌握向量内积运算及其基本性质（正定性、对称性、线性）。
3. 距离与模长：基于内积定义向量的模长（二范数）和空间中两点间的欧式距离，并理解其几何意义。
4. 邻域的概念：将一元函数中“邻域”的概念推广到高维，理解球形邻域和方形邻域的定义及其等价性，为后续定义多元函数极限做准备。

从一元到多元：为何需要欧式空间？

在一元微积分中，我们研究的函数形如 $y = f(x)$，其自变量 $x$ 是定义在实数集 $\mathbb{R}$ 上的一个数。然而，在人工智能中，我们处理的数据和模型参数往往是多维的。例如，一张灰度图片可以看作一个矩阵，一个词向量可能由数百个维度构成。描述这些多维对象，需要一个多维的“坐标空间”。

因此，我们需要将微积分的舞台从一维的实数轴 $\mathbb{R}$，拓展到 $n$ 维的欧式空间 $\mathbb{R}^n$。这是定义多元函数 $z = f(x_1, x_2, \ldots, x_n)$ 的第一步，也是将导数、微分等概念从一元推广到多元的起点。

向量空间 $\mathbb{R}^n$ 与内积

$n$ 维向量空间 $\mathbb{R}^n$

首先，我们定义 $n$ 元有序实数组的集合： $$\mathbb{R}^n = { (x_1, x_2, \ldots, x_n) \mid x_i \in \mathbb{R}, i = 1, 2, \ldots, n }.$$ 这里，$(x_1, x_2, \ldots, x_n)$ 是一个有序数组，顺序是关键，例如 $(1, 2)$ 与 $(2, 1)$ 是不同的元素。这个集合 $\mathbb{R}^n$ 也可以看作是 $n$ 个实数集 $\mathbb{R}$ 的笛卡尔积：$\mathbb{R} \times \mathbb{R} \times \cdots \times \mathbb{R}$。

我们称 $\mathbb{R}^n$ 中的每个元素为一个点或一个向量，记作粗体 $\mathbf{x}$。手写时，常在字母上加箭头表示，如 $\vec{x}$。$\mathbb{R}^n$ 本身被称为 $n$ 维向量空间。

向量的内积

为了在向量空间中引入几何概念（如长度、角度），我们需要定义内积运算。对于 $\mathbb{R}^n$ 中的两个向量 $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ 和 $\mathbf{y} = (y_1, y_2, \ldots, y_n)$，它们的内积定义为： $$\langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{x} \cdot \mathbf{y} = \sum_{i=1}^{n} x_i y_i.$$ 内积的结果是一个实数。它具有以下基本性质：

1. 正定性：$\langle \mathbf{x}, \mathbf{x} \rangle \ge 0$，且 $\langle \mathbf{x}, \mathbf{x} \rangle = 0 \iff \mathbf{x} = \mathbf{0}$（零向量）。
2. 对称性：$\langle \mathbf{x}, \mathbf{y} \rangle = \langle \mathbf{y}, \mathbf{x} \rangle$。
3. 线性性（分配律）：对任意向量 $\mathbf{x}, \mathbf{y}, \mathbf{z}$ 和实数 $\alpha$，有
   • $\langle \mathbf{x} + \mathbf{y}, \mathbf{z} \rangle = \langle \mathbf{x}, \mathbf{z} \rangle + \langle \mathbf{y}, \mathbf{z} \rangle$
   • $\langle \alpha \mathbf{x}, \mathbf{y} \rangle = \alpha \langle \mathbf{x}, \mathbf{y} \rangle$

定义了内积的向量空间 $\mathbb{R}^n$，就称为 $n$ 维欧几里得空间，简称欧式空间。这是我们最熟悉的几何空间。

模长、距离与邻域

向量的模长（范数）

利用内积，我们可以定义向量 $\mathbf{x}$ 的模长（或欧式范数，二范数）： $$| \mathbf{x} | = |\mathbf{x}| = \sqrt{\langle \mathbf{x}, \mathbf{x} \rangle} = \sqrt{\sum_{i=1}^{n} x_i^2}.$$ 模长表示从坐标原点到点 $\mathbf{x}$ 的直线距离。在二维 $\mathbb{R}^2$ 中，$| (x_1, x_2) | = \sqrt{x_1^2 + x_2^2}$，这正是平面直角坐标系中点到原点的距离公式。

两点间的距离

在欧式空间中，两点 $\mathbf{x}$ 和 $\mathbf{y}$ 之间的距离定义为连接它们的向量的模长： $$d(\mathbf{x}, \mathbf{y}) = | \mathbf{x} - \mathbf{y} | = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}.$$ 这个距离就是我们熟知的欧式距离。它满足距离公理：

1. 正定性：$d(\mathbf{x}, \mathbf{y}) \ge 0$，且 $d(\mathbf{x}, \mathbf{y}) = 0 \iff \mathbf{x} = \mathbf{y}$。
2. 对称性：$d(\mathbf{x}, \mathbf{y}) = d(\mathbf{y}, \mathbf{x})$。
3. 三角不等式：对任意三点 $\mathbf{x}, \mathbf{y}, \mathbf{z}$，有 $d(\mathbf{x}, \mathbf{z}) \le d(\mathbf{x}, \mathbf{y}) + d(\mathbf{y}, \mathbf{z})$。

邻域：球形与方形

有了距离的概念，我们就可以将一元函数中“邻域”的思想推广到高维空间，这是定义多元函数极限的基础。

• 球形邻域：以点 $\mathbf{x}_0$ 为中心，$\delta > 0$ 为半径的球形邻域定义为： $$U(\mathbf{x}_0, \delta) = { \mathbf{x} \in \mathbb{R}^n \mid | \mathbf{x} - \mathbf{x}_0 | < \delta }.$$ 在二维平面，这是一个开圆盘；在三维空间，这是一个开球体。

• 方形邻域：以点 $\mathbf{x}$0 = (x{01}, x_{02}, \ldots, x_{0n}) 为中心，$\delta > 0$ 为边长的方形邻域定义为： $$N(\mathbf{x}$$0, \delta) = { \mathbf{x} = (x_1, x_2, \ldots, x_n) \mid |x_i - x{0i}| < \delta, \ i = 1, 2, \ldots, n }. 在二维平面，这是一个开正方形；在三维空间，这是一个开立方体。

重要结论：球形邻域与方形邻域在描述“无限接近”这一点上是等价的。对于任意一个球形邻域，总可以找到一个包含在它内部的方形邻域；反之，对于任意一个方形邻域，也总可以找到一个包含在它内部的球形邻域。因此，在定义极限等概念时，使用哪种邻域取决于具体问题的方便性。

import numpy as np

# 演示欧式空间中的基本计算：内积、模长、距离
# 定义两个三维向量，例如表示三维空间中的两个点坐标（单位：米）
point_a = np.array([1.0, 2.0, -1.0])  # 点A坐标 (x, y, z)
point_b = np.array([3.0, 0.0, 2.0])   # 点B坐标

# 1. 计算向量（从原点到点）的模长
norm_a = np.linalg.norm(point_a)  # 默认计算二范数（欧式模长）
norm_b = np.linalg.norm(point_b)
print(f"向量 point_a 的模长（到原点的距离）: {norm_a:.4f} 米")
print(f"向量 point_b 的模长（到原点的距离）: {norm_b:.4f} 米")

# 2. 计算两点间的欧式距离
distance_ab = np.linalg.norm(point_a - point_b)
print(f"点A与点B之间的欧式距离: {distance_ab:.4f} 米")

# 3. 验证内积与模长的关系： <a, a> = ||a||^2
inner_product_a = np.dot(point_a, point_a)
print(f"\n验证内积与模长关系:")
print(f"<point_a, point_a> = {inner_product_a:.4f}")
print(f"||point_a||^2 = {norm_a**2:.4f}")
print(f"两者是否相等？ {np.isclose(inner_product_a, norm_a**2)}")

# 4. 验证三角不等式： ||a - b|| <= ||a|| + ||b||
lhs = distance_ab  # ||a - b||
rhs = norm_a + norm_b  # ||a|| + ||b||
print(f"\n验证三角不等式:")
print(f"||a - b|| = {lhs:.4f}")
print(f"||a|| + ||b|| = {rhs:.4f}")
print(f"不等式 ||a - b|| <= ||a|| + ||b|| 是否成立？ {lhs <= rhs + 1e-10}") # 添加微小容差

📝 动手练一练

1. 计算与验证：在 $\mathbb{R}^4$ 中，给定向量 $\mathbf{u} = (1, -2, 0, 3)$ 和 $\mathbf{v} = (4, 1, -1, 2)$。

   • a) 计算内积 $\langle \mathbf{u}, \mathbf{v} \rangle$。
   • b) 分别计算向量 $\mathbf{u}$ 和 $\mathbf{v}$ 的模长 $|\mathbf{u}|$ 和 $|\mathbf{v}|$。
   • c) 计算两点 $\mathbf{u}$ 和 $\mathbf{v}$ 之间的距离 $d(\mathbf{u}, \mathbf{v})$。
   • d) 验证柯西-施瓦茨不等式：$|\langle \mathbf{u}, \mathbf{v} \rangle| \le |\mathbf{u}| \cdot |\mathbf{v}|$。

   参考答案: a) $\langle \mathbf{u}, \mathbf{v} \rangle = 1\times4 + (-2)\times1 + 0\times(-1) + 3\times2 = 4 -2 +0 +6 = 8$。 b) $|\mathbf{u}| = \sqrt{1^2 + (-2)^2 + 0^2 + 3^2} = \sqrt{14} \approx 3.7417$； $|\mathbf{v}| = \sqrt{4^2+1^2+(-1)^2+2^2} = \sqrt{22} \approx 4.6904$。 c) $d(\mathbf{u}, \mathbf{v}) = | \mathbf{u} - \mathbf{v} | = | (-3, -3, 1, 1) | = \sqrt{9+9+1+1} = \sqrt{20} \approx 4.4721$。 d) $|\langle \mathbf{u}, \mathbf{v} \rangle| = 8$， $|\mathbf{u}| \cdot |\mathbf{v}| = \sqrt{14} \cdot \sqrt{22} = \sqrt{308} \approx 17.5499$。显然 $8 \le 17.5499$，不等式成立。

2. 邻域描述：在 $\mathbb{R}^2$ 中，分别用集合描述点 $(1, 2)$ 的半径为 $0.5$ 的球形邻域 $U$ 和边长为 $1$ 的方形邻域 $N$。并在坐标系中草图示意这两个区域，直观感受它们的包含关系。

   参考答案:

   • 球形邻域 $U((1,2), 0.5) = { (x, y) \in \mathbb{R}^2 \mid \sqrt{(x-1)^2 + (y-2)^2} < 0.5 }$。
   • 方形邻域 $N((1,2), 0.5) = { (x, y) \in \mathbb{R}^2 \mid |x-1| < 0.5, |y-2| < 0.5 }$。
   • 示意图：方形邻域是一个以 $(1,2)$ 为中心、边长为 $1$ 的正方形。球形邻域是一个以 $(1,2)$ 为圆心、半径为 $0.5$ 的圆。这个圆完全内接于该正方形内部。反之，我们也可以找到一个更小的圆，使得这个正方形内接于该圆。

本章小结

本节我们为多元微积分搭建了核心的数学舞台——欧式空间 $\mathbb{R}^n$。我们系统地学习了：

• 基础结构：$\mathbb{R}^n$ 作为 $n$ 维向量空间，其元素是有序实数组 $(x_1, \ldots, x_n)$。
• 核心运算：定义了向量的内积 $\langle \mathbf{x}, \mathbf{y} \rangle = \sum x_i y_i$，它引入了空间的几何结构。
• 几何度量：基于内积定义了向量的模长 $|\mathbf{x}|$ 和两点间的欧式距离 $d(\mathbf{x}, \mathbf{y})$，它们是描述“长度”和“远近”的基础。
• 关键概念：将一元微积分中的“邻域”概念推广到高维，定义了球形邻域和方形邻域，并理解它们在极限意义下的等价性，这是后续定义多元函数极限的基石。

行动清单

1. 动手计算：使用 Python 的 NumPy 库，亲自计算几个高维向量的内积、模长和距离，直观感受公式的含义。
2. 画图理解：在纸上画出 $\mathbb{R}^2$ 中一个点的球形邻域和方形邻域，直观理解它们的形状与包含关系。
3. 联想对比：回顾一元函数中邻域的定义（$|x - x_0| < \delta$），思考本节定义的球形邻域 $|\mathbf{x} - \mathbf{x}_0| < \delta$ 是如何将其自然推广到高维的。

— 小象教研组