一阶偏导数

偏导数与向量函数求导

小象实战讲义 · 人工智能数学基础

在人工智能领域，我们处理的函数往往依赖于多个变量。例如，神经网络的损失函数依赖于成千上万个权重参数。为了优化这些参数，我们需要知道当只改变其中一个参数而固定其他所有参数时，函数值如何变化。这正是偏导数的核心思想。本节将从二元函数的偏导数定义出发，深入探讨其几何意义、计算方法，并最终推广到向量函数的求导，引出在机器学习中至关重要的雅可比矩阵概念。学完本节，你将能够计算多元函数的偏导数，并理解向量函数导数的矩阵形式。

💡 核心导读

本节将为你构建以下知识地图：

1. 定义与符号：从二元函数增量出发，严格定义偏导数，并介绍其多种标准记法。
2. 几何意义：将偏导数理解为三维曲面被特定平面截取后，所得平面曲线的切线斜率。
3. 计算方法：掌握“固定其他变量，对目标变量求导”的核心计算法则，并通过例题巩固。
4. 高阶推广：从多元函数偏导数自然过渡到向量函数的求导，理解其结果为矩阵（雅可比矩阵）。
5. 实战案例：通过球坐标变换的实例，具体计算雅可比矩阵及其行列式，体会其在坐标变换中的应用。

一、偏导数的定义

考虑一个二元函数 $z = f(x, y)$。在点 $(x_0, y_0)$ 的某个邻域内有定义。我们想研究函数在这一点沿 $x$ 方向的变化率。

定义（关于 $x$ 的偏导数）：固定 $y = y_0$，考虑函数在 $x$ 方向上的增量。若极限 $$\lim_{\Delta x \to 0} \frac{f(x_0 + \Delta x, y_0) - f(x_0, y_0)}{\Delta x}$$ 存在，则称此极限值为函数 $f(x, y)$ 在点 $(x_0, y_0)$ 处 关于 $x$ 的偏导数。

类似地，固定 $x = x_0$，可以定义关于 $y$ 的偏导数： $$\lim_{\Delta y \to 0} \frac{f(x_0, y_0 + \Delta y) - f(x_0, y_0)}{\Delta y}$$

记法：偏导数有多种等价的记法，需熟练掌握。

• 关于 $x$ 的偏导数：
  • $\displaystyle f_x(x_0, y_0)$
  • $\displaystyle \frac{\partial f}{\partial x} \bigg|_{(x_0, y_0)}$
  • $\displaystyle \frac{\partial z}{\partial x} \bigg|_{(x_0, y_0)}$
  • $\displaystyle f_x \bigg|_{(x_0, y_0)}$
• 关于 $y$ 的偏导数同理，将 $x$ 替换为 $y$。
• 符号 $\partial$ 读作 “partial” 或 “偏”。

如果我们在定义域内每一点都求偏导，就得到了 偏导函数，记作： $$f_x(x, y), \quad \frac{\partial f}{\partial x}, \quad \text{或} \quad \frac{\partial z}{\partial x}.$$ 此时不再标注具体的点 $(x_0, y_0)$。

二、偏导数的几何意义与计算

几何意义

回顾一元函数 $y=f(x)$ 的导数，其几何意义是曲线在某点切线的斜率。

对于二元函数 $z=f(x, y)$，其图像是一个三维空间中的曲面。偏导数 $\frac{\partial f}{\partial x} \bigg|${(x_0, y_0)}∂x∂f​​(x0​,y0​)​ 的几何意义是： **用平面 $y = y_0$ 去截曲面 $z=f(x,y)$，得到一条空间曲线 $C: z = f(x, y_0)$。这条曲线在点 $(x_0, y_0, f(x_0, y_0))$ 处的切线关于 $x$ 轴的斜率，就是偏导数 $\frac{\partial f}{\partial x} \bigg|${(x_0, y_0)} 的值。**

简单来说，偏导数就是“截面曲线”的切线斜率。求关于 $x$ 的偏导，就用平行于 $xOz$ 的平面（固定 $y$）去截曲面；求关于 $y$ 的偏导，就用平行于 $yOz$ 的平面（固定 $x$）去截曲面。

计算方法

从定义和几何意义可知，计算偏导数 $\frac{\partial f}{\partial x}$ 时，将除 $x$ 以外的所有变量均视为常数，然后对 $x$ 进行一元函数求导。计算 $\frac{\partial f}{\partial y}$ 时亦然。

例1：设 $f(x, y) = xy^2 - \sin(x) \cdot y + x^3$，求 $\frac{\partial f}{\partial x}$ 和 $\frac{\partial f}{\partial y}$。

解：

• 求 $\frac{\partial f}{\partial x}$，视 $y$ 为常数： $$\begin{aligned} \frac{\partial f}{\partial x} &= \frac{\partial}{\partial x}(xy^2) - \frac{\partial}{\partial x}(\sin(x) \cdot y) + \frac{\partial}{\partial x}(x^3) \ &= 1 \cdot y^2 - \cos(x) \cdot y + 3x^2 \ &= y^2 - y\cos x + 3x^2. \end{aligned}$$
• 求 $\frac{\partial f}{\partial y}$，视 $x$ 为常数： $$\begin{aligned} \frac{\partial f}{\partial y} &= \frac{\partial}{\partial y}(xy^2) - \frac{\partial}{\partial y}(\sin(x) \cdot y) + \frac{\partial}{\partial y}(x^3) \ &= x \cdot 2y - \sin(x) \cdot 1 + 0 \ &= 2xy - \sin x. \end{aligned}$$

例2：设 $z = x \ln(x^2 + y^2)$，求 $\frac{\partial z}{\partial x} \bigg|_{(1, 2)}$。

解法一（先求导函数，再代入）： $$\begin{aligned} \frac{\partial z}{\partial x} &= \frac{\partial}{\partial x}[x \ln(x^2 + y^2)] \ &= 1 \cdot \ln(x^2 + y^2) + x \cdot \frac{1}{x^2+y^2} \cdot 2x \quad (\text{乘积法则与链式法则}) \ &= \ln(x^2 + y^2) + \frac{2x^2}{x^2+y^2}. \end{aligned}$$ 代入 $(1, 2)$： $$\frac{\partial z}{\partial x} \bigg|_{(1, 2)} = \ln(1^2 + 2^2) + \frac{2 \cdot 1^2}{1^2+2^2} = \ln 5 + \frac{2}{5}.$$

解法二（先代入固定变量，再求一元导数）： 由于是求在 $y=2$ 时的偏导，可先将 $y=2$ 代入原函数： $$z = x \ln(x^2 + 4).$$ 此时 $z$ 是 $x$ 的一元函数，对其求导： $$\frac{dz}{dx} = \ln(x^2 + 4) + x \cdot \frac{2x}{x^2+4} = \ln(x^2+4) + \frac{2x^2}{x^2+4}.$$ 再代入 $x=1$，得到相同结果 $\ln 5 + \frac{2}{5}$。

技巧：当函数结构复杂时，第二种方法（先代入固定变量）往往更简洁，不易出错。

例3（三元函数）：设 $u(x, y, z) = (x^2 + y^2)z^2 + \sin(x^2)$，求 $\frac{\partial u}{\partial x}, \frac{\partial u}{\partial y}, \frac{\partial u}{\partial z}$。

解：

• $\frac{\partial u}{\partial x}$：视 $y, z$ 为常数。 $\frac{\partial}{\partial x}[(x^2 + y^2)z^2] = 2x \cdot z^2$，$\frac{\partial}{\partial x}[\sin(x^2)] = \cos(x^2) \cdot 2x$。 故 $\frac{\partial u}{\partial x} = 2xz^2 + 2x\cos(x^2)$。
• $\frac{\partial u}{\partial y}$：视 $x, z$ 为常数。 $\frac{\partial}{\partial y}[(x^2 + y^2)z^2] = 2y \cdot z^2$，$\frac{\partial}{\partial y}[\sin(x^2)] = 0$。 故 $\frac{\partial u}{\partial y} = 2yz^2$。
• $\frac{\partial u}{\partial z}$：视 $x, y$ 为常数。 $\frac{\partial}{\partial z}[(x^2 + y^2)z^2] = (x^2+y^2) \cdot 2z$，$\frac{\partial}{\partial z}[\sin(x^2)] = 0$。 故 $\frac{\partial u}{\partial z} = 2z(x^2+y^2)$。

三、向量函数的导数：雅可比矩阵

从多元函数到向量函数

一个 $n$ 元函数 $f: \mathbb{R}^n \supset D \to \mathbb{R}$ 的偏导数，可以写成一个梯度向量： $$\nabla f(\mathbf{x}) = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right)^T.$$ 现在考虑更一般的情形：一个 向量值函数（或称多元映射）$\mathbf{f}: \mathbb{R}^n \supset D \to \mathbb{R}^m$，它将 $n$ 维向量 $\mathbf{x} = (x_1, \dots, x_n)^T$ 映射为 $m$ 维向量： $$\mathbf{f}(\mathbf{x}) = \begin{pmatrix} f_1(x_1, \dots, x_n) \ f_2(x_1, \dots, x_n) \ \vdots \ f_m(x_1, \dots, x_n) \end{pmatrix}.$$ 其中每个 $f_i$ 都是一个 $n$ 元函数。

雅可比矩阵的定义

向量函数 $\mathbf{f}$ 在点 $\mathbf{x}_0$ 处的 导数 定义为所有分量函数 $f_i$ 关于所有自变量 $x_j$ 的偏导数所构成的矩阵。

定义（雅可比矩阵）：若向量函数 $\mathbf{f}$ 的每个分量 $f_i$ 在点 $\mathbf{x}_0$ 处对所有自变量的偏导数都存在，则称 $\mathbf{f}$ 在 $\mathbf{x}_0$ 处可导，其导数是一个 $m \times n$ 矩阵，称为 雅可比矩阵 (Jacobian Matrix)，记作 $J\mathbf{f}(\mathbf{x}_0)$ 或 $D\mathbf{f}(\mathbf{x}_0)$： $$J\mathbf{f}(\mathbf{x}$$0) = \begin{pmatrix} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & \cdots & \frac{\partial f_1}{\partial x_n} \ \frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2} & \cdots & \frac{\partial f_2}{\partial x_n} \ \vdots & \vdots & \ddots & \vdots \ \frac{\partial f_m}{\partial x_1} & \frac{\partial f_m}{\partial x_2} & \cdots & \frac{\partial f_m}{\partial x_n} \end{pmatrix} \bigg|{\mathbf{x}=\mathbf{x}_0}.

记忆口诀：雅可比矩阵的第 $i$ 行是第 $i$ 个分量函数 $f_i$ 的梯度（列向量）的转置（行向量）。

当 $m = n$ 时，雅可比矩阵是方阵，其行列式 $\det(J\mathbf{f}(\mathbf{x}))$ 称为 雅可比行列式，在多重积分变量替换中起着关键作用。

实例：球坐标变换

例4（球坐标变换）：考虑从球坐标 $(r, \phi, \theta)$ 到直角坐标 $(x, y, z)$ 的变换： $$\begin{cases} x = r \sin \phi \cos \theta, \ y = r \sin \phi \sin \theta, \ z = r \cos \phi. \end{cases}$$ 其中 $r \ge 0, 0 \le \phi \le \pi, 0 \le \theta < 2\pi$。这是一个从 $\mathbb{R}^3$ 到 $\mathbb{R}^3$ 的向量函数 $\mathbf{f}(r, \phi, \theta) = (x, y, z)^T$。求其雅可比矩阵 $J\mathbf{f}$ 及雅可比行列式。

解：分别计算每个偏导数：

• $\frac{\partial x}{\partial r} = \sin\phi \cos\theta$, $\frac{\partial x}{\partial \phi} = r\cos\phi \cos\theta$, $\frac{\partial x}{\partial \theta} = -r\sin\phi \sin\theta$.
• $\frac{\partial y}{\partial r} = \sin\phi \sin\theta$, $\frac{\partial y}{\partial \phi} = r\cos\phi \sin\theta$, $\frac{\partial y}{\partial \theta} = r\sin\phi \cos\theta$.
• $\frac{\partial z}{\partial r} = \cos\phi$, $\frac{\partial z}{\partial \phi} = -r\sin\phi$, $\frac{\partial z}{\partial \theta} = 0$.

因此，雅可比矩阵为： $$J\mathbf{f} = \begin{pmatrix} \sin\phi \cos\theta & r\cos\phi \cos\theta & -r\sin\phi \sin\theta \ \sin\phi \sin\theta & r\cos\phi \sin\theta & r\sin\phi \cos\theta \ \cos\phi & -r\sin\phi & 0 \end{pmatrix}.$$

计算其行列式（按第三行展开）： $$\begin{aligned} \det(J\mathbf{f}) &= \cos\phi \cdot (-1)^{3+1} \begin{vmatrix} r\cos\phi \cos\theta & -r\sin\phi \sin\theta \ r\cos\phi \sin\theta & r\sin\phi \cos\theta \end{vmatrix} \ &\quad + (-r\sin\phi) \cdot (-1)^{3+2} \begin{vmatrix} \sin\phi \cos\theta & -r\sin\phi \sin\theta \ \sin\phi \sin\theta & r\sin\phi \cos\theta \end{vmatrix} + 0 \ &= \cos\phi \cdot \left( r\cos\phi \cos\theta \cdot r\sin\phi \cos\theta - (-r\sin\phi \sin\theta) \cdot r\cos\phi \sin\theta \right) \ &\quad + r\sin\phi \cdot \left( \sin\phi \cos\theta \cdot r\sin\phi \cos\theta - (-r\sin\phi \sin\theta) \cdot \sin\phi \sin\theta \right) \ &= \cos\phi \cdot \left( r^2 \sin\phi \cos\phi \cos^2\theta + r^2 \sin\phi \cos\phi \sin^2\theta \right) \ &\quad + r\sin\phi \cdot \left( r \sin^2\phi \cos^2\theta + r \sin^2\phi \sin^2\theta \right) \ &= \cos\phi \cdot \left( r^2 \sin\phi \cos\phi (\cos^2\theta + \sin^2\theta) \right) + r\sin\phi \cdot \left( r \sin^2\phi (\cos^2\theta + \sin^2\theta) \right) \ &= r^2 \sin\phi \cos^2\phi + r^2 \sin^3\phi \ &= r^2 \sin\phi (\cos^2\phi + \sin^2\phi) \ &= r^2 \sin\phi. \end{aligned}$$ 球坐标变换的雅可比行列式为 $r^2 \sin\phi$。当其不为零（即 $r>0$ 且 $\phi \neq 0, \pi$）时，变换在该点附近是局部可逆的，这是进行球坐标下三重积分变量替换的基础。

下面我们用 Python 的 SymPy 库来验证上述偏导数和雅可比行列式的计算。

import sympy as sp

# 定义符号变量
r, phi, theta = sp.symbols('r phi theta', real=True)
# 定义球坐标变换函数
x = r * sp.sin(phi) * sp.cos(theta)
y = r * sp.sin(phi) * sp.sin(theta)
z = r * sp.cos(phi)

# 1. 计算单个偏导数示例：∂x/∂φ
partial_x_phi = sp.diff(x, phi)
print(f"∂x/∂φ = {partial_x_phi}")
print(f"化简后: ∂x/∂φ = {sp.simplify(partial_x_phi)}")
print("-" * 40)

# 2. 构建雅可比矩阵
# 定义向量函数
F = sp.Matrix([x, y, z])
# 定义自变量向量
X = sp.Matrix([r, phi, theta])
# 计算雅可比矩阵
J = F.jacobian(X)
print("雅可比矩阵 Jf:")
sp.pprint(J)
print("-" * 40)

# 3. 计算雅可比行列式并化简
jacobian_det = J.det()
simplified_det = sp.simplify(jacobian_det)
print(f"雅可比行列式 det(Jf) = {jacobian_det}")
print(f"化简后的行列式 = {simplified_det}")

# 4. 验证一个具体的偏导数计算：例1中的函数
x_sym, y_sym = sp.symbols('x y', real=True)
f = x_sym * y_sym**2 - sp.sin(x_sym) * y_sym + x_sym**3
f_x = sp.diff(f, x_sym)
f_y = sp.diff(f, y_sym)
print("-" * 40)
print(f"例1函数: f(x, y) = {f}")
print(f"∂f/∂x = {f_x}")
print(f"∂f/∂y = {f_y}")

📝 动手练一练

1. 基础计算：设函数 $f(x, y) = e^{2x} \cos(3y) + x^2 y^3$，求 $\frac{\partial f}{\partial x}$ 和 $\frac{\partial f}{\partial y}$。
2. 向量函数求导：考虑一个简单的线性变换 $\mathbf{f}: \mathbb{R}^2 \to \mathbb{R}^2$，定义为 $\mathbf{f}(x, y) = (2x + 3y, , x - 4y)^T$。写出其雅可比矩阵 $J\mathbf{f}$。这个矩阵有什么特点？

参考答案：

1. $\frac{\partial f}{\partial x} = 2e^{2x}\cos(3y) + 2xy^3$，$\frac{\partial f}{\partial y} = -3e^{2x}\sin(3y) + 3x^2y^2$。
2. $J\mathbf{f} = \begin{pmatrix} 2 & 3 \ 1 & -4 \end{pmatrix}$。这是一个常数矩阵，因为 $\mathbf{f}$ 是一个线性变换，其雅可比矩阵就是该线性变换的系数矩阵。

本章小结

本节我们系统地学习了多元函数微分学的入门知识：

• 偏导数衡量了多元函数沿某一坐标轴方向的变化率，计算时需固定其他变量。
• 几何上，偏导数是三维曲面被坐标平面所截曲线切线的斜率。
• 向量函数的导数是其所有分量函数对所有自变量的偏导数构成的矩阵，即雅可比矩阵。它是梯度概念向高维输出的自然推广。
• 雅可比行列式在坐标变换中至关重要，其非零性保证了变换的局部可逆性。

行动清单

1. 动手计算：选取3个包含多项式、指数、三角函数的多元函数，独立计算它们的一阶偏导数。
2. 代码验证：使用 SymPy 重复上述计算，并尝试计算一个简单向量函数（如 $\mathbf{f}(x,y)=(x^2y, \sin(x+y))^T$）的雅可比矩阵，与手算结果对比。
3. 概念联想：思考在神经网络中，损失函数 $L$ 对某个权重参数 $w_{ij}$ 的偏导数 $\frac{\partial L}{\partial w_{ij}}$ 有什么具体的物理意义？它如何指导参数的更新？

— 小象教研组