特殊矩阵

特殊矩阵

小象实战讲义 · 人工智能数学基础

在矩阵运算中，某些具有特定结构的矩阵扮演着极其重要的角色。它们不仅是理论推导中的关键工具，更在算法实现中带来显著的效率提升。本节将系统介绍几种核心的特殊矩阵，包括对角矩阵、三角矩阵、基本矩阵、初等矩阵以及对称与反对称矩阵，并深入探讨它们与矩阵乘法结合时所代表的线性变换意义。掌握这些矩阵，是理解后续矩阵分解、特征值计算等高级主题的基础。

💡 核心导读

本节将带你认识几种在人工智能数学中至关重要的特殊矩阵：

1. 对角矩阵：理解其简洁记法，并掌握左乘与右乘对角矩阵分别对原矩阵行和列的缩放作用。
2. 三角矩阵：了解上三角矩阵的定义，并知道两个上三角矩阵的乘积仍是上三角矩阵这一重要性质。
3. 基本矩阵：认识这种“只有一个元素为1”的矩阵，并理解其左乘或右乘一个矩阵时，所实现的“搬运”行或列的操作。
4. 初等矩阵：建立初等矩阵与初等行（列）变换的对应关系，理解用矩阵乘法表示矩阵变换的思想。
5. 对称与反对称矩阵：掌握它们的定义、性质及矩阵元素的对称关系，理解其与函数奇偶性的类比。

对角矩阵 (Diagonal Matrix)

对角矩阵是一种形式非常简洁的方阵，其定义如下：

定义：若一个 $n \times n$ 方阵 $D$ 中，除了主对角线上的元素外，其余元素全为零，则称 $D$ 为对角矩阵。即： $$> D = \begin{bmatrix} > d_1 & 0 & \cdots & 0 \ > 0 & d_2 & \cdots & 0 \ > \vdots & \vdots & \ddots & \vdots \ > 0 & 0 & \cdots & d_n > \end{bmatrix} >$$ 通常简记为 $D = \text{diag}(d_1, d_2, \dots, d_n)$。

对角矩阵在矩阵乘法中扮演着“缩放因子”的角色。设有一个 $s \times n$ 的矩阵 $A$，其行向量组记为 $\boldsymbol{\gamma}_1, \boldsymbol{\gamma}_2, \dots, \boldsymbol{\gamma}_s$，列向量组记为 $\boldsymbol{\alpha}_1, \boldsymbol{\alpha}_2, \dots, \boldsymbol{\alpha}_n$。

• 左乘对角矩阵：用一个 $s \times s$ 的对角矩阵 $D_s = \text{diag}(d_1, d_2, \dots, d_s)$ 左乘 $A$，相当于用 $d_i$ 去缩放 $A$ 的第 $i$ 行。 $$D_s A = \begin{bmatrix} d_1 & 0 & \cdots & 0 \ 0 & d_2 & \cdots & 0 \ \vdots & \vdots & \ddots & \vdots \ 0 & 0 & \cdots & d_s \end{bmatrix} \begin{bmatrix} \boldsymbol{\gamma}_1 \ \boldsymbol{\gamma}_2 \ \vdots \ \boldsymbol{\gamma}_s \end{bmatrix}$$

  \begin{bmatrix} d_1 \boldsymbol{\gamma}_1 \ d_2 \boldsymbol{\gamma}_2 \ \vdots \ d_s \boldsymbol{\gamma}_s \end{bmatrix}Ds​A=​d1​0⋮0​0d2​⋮0​⋯⋯⋱⋯​00⋮ds​​​​γ1​γ2​⋮γs​​​=​d1​γ1​d2​γ2​⋮ds​γs​​​

• 右乘对角矩阵：用一个 $n \times n$ 的对角矩阵 $D_n = \text{diag}(d_1, d_2, \dots, d_n)$ 右乘 $A$，相当于用 $d_j$ 去缩放 $A$ 的第 $j$ 列。 $$A D_n = \begin{bmatrix} \boldsymbol{\alpha}_1 & \boldsymbol{\alpha}_2 & \cdots & \boldsymbol{\alpha}_n \end{bmatrix} \begin{bmatrix} d_1 & 0 & \cdots & 0 \ 0 & d_2 & \cdots & 0 \ \vdots & \vdots & \ddots & \vdots \ 0 & 0 & \cdots & d_n \end{bmatrix}$$

  \begin{bmatrix} d_1 \boldsymbol{\alpha}_1 & d_2 \boldsymbol{\alpha}_2 & \cdots & d_n \boldsymbol{\alpha}_n \end{bmatrix}ADn​=[α1​​α2​​⋯​αn​​]​d1​0⋮0​0d2​⋮0​⋯⋯⋱⋯​00⋮dn​​​=[d1​α1​​d2​α2​​⋯​dn​αn​​]

结论：在矩阵运算中，若需要对一个矩阵的行或列分别进行缩放，可以通过左乘或右乘一个相应的对角矩阵来实现。

import numpy as np

# 创建一个3x4的矩阵A
A = np.array([[1, 2, 3, 4],
              [5, 6, 7, 8],
              [9, 10, 11, 12]])
print("原始矩阵 A:")
print(A)

# 创建一个3x3的对角矩阵D_left，用于缩放行
D_left = np.diag([2, 0.5, -1])
print("\n左乘对角矩阵 D_left (缩放行):")
print(D_left)

# 左乘：第0行乘以2，第1行乘以0.5，第2行乘以-1
result_left = D_left @ A
print("\nD_left @ A (对行进行缩放):")
print(result_left)

# 创建一个4x4的对角矩阵D_right，用于缩放列
D_right = np.diag([1, -2, 0, 0.5])
print("\n右乘对角矩阵 D_right (缩放列):")
print(D_right)

# 右乘：第1列乘以-2，第2列乘以0，第3列乘以0.5
result_right = A @ D_right
print("\nA @ D_right (对列进行缩放):")
print(result_right)

三角矩阵与基本矩阵

上三角矩阵 (Upper Triangular Matrix)

定义：若一个 $n \times n$ 方阵 $U$ 中，主对角线以下的所有元素全为零，则称 $U$ 为上三角矩阵。即对于 $i > j$，有 $u_{ij} = 0$。

上三角矩阵的一个重要性质是：两个上三角矩阵的乘积仍然是上三角矩阵。以 $2 \times 2$ 矩阵为例： $$\begin{aligned} \begin{bmatrix} a_{11} & a_{12} \ 0 & a_{22} \end{bmatrix} \begin{bmatrix} b_{11} & b_{12} \ 0 & b_{22} \end{bmatrix} &= \begin{bmatrix} a_{11}b_{11} & a_{11}b_{12} + a_{12}b_{22} \ 0 & a_{22}b_{22} \end{bmatrix} \end{aligned}$$ 结果矩阵的主对角线以下元素仍为0。此性质可以通过数学归纳法推广到 $n \times n$ 的情形。并且，乘积矩阵主对角线上的元素，恰好是原两个矩阵主对角线上对应元素的乘积。

基本矩阵 (Elementary Unit Matrix)

定义：若一个矩阵中，只有一个元素为 $1$，其余元素全为 $0$，则称该矩阵为基本矩阵。记 $E_{ij}^{(m \times n)}$ 表示一个 $m \times n$ 的基本矩阵，其第 $i$ 行第 $j$ 列的元素为 $1$。

例如，一个 $3 \times 2$ 的基本矩阵 $E_{12}^{(3 \times 2)}$ 为： $$E_{12}^{(3 \times 2)} = \begin{bmatrix} 0 & 1 \ 0 & 0 \ 0 & 0 \end{bmatrix}$$

基本矩阵与任意矩阵 $A$ 相乘，效果非常直观，即“搬运”行或列：

• 左乘：$E_{ij}^{(r \times s)} A_{s \times n}$ 的结果是一个 $r \times n$ 的矩阵，其第 $i$ 行等于 $A$ 的第 $j$ 行，其余行全为 $0$。这相当于把 $A$ 的第 $j$ 行“搬运”到结果矩阵的第 $i$ 行。
• 右乘：$A_{s \times n} E_{ij}^{(n \times t)}$ 的结果是一个 $s \times t$ 的矩阵，其第 $j$ 列等于 $A$ 的第 $i$ 列，其余列全为 $0$。这相当于把 $A$ 的第 $i$ 列“搬运”到结果矩阵的第 $j$ 列。

核心思想：用矩阵乘法来表示对矩阵的行或列进行的特定操作。

初等矩阵 (Elementary Matrix)

初等矩阵与我们在解线性方程组时使用的初等行变换密切相关。

定义：单位矩阵 $I$ 经过一次初等行变换（或列变换）后所得的矩阵，称为初等矩阵。

初等行变换有三种，对应三种初等矩阵：

1. 倍乘：将单位矩阵的第 $i$ 行乘以非零常数 $c$，记为 $P_i(c)$。用 $P_i(c)$ 左乘矩阵 $A$，等价于将 $A$ 的第 $i$ 行乘以 $c$。
2. 互换：将单位矩阵的第 $i$ 行与第 $j$ 行互换，记为 $P_{ij}$。用 $P_{ij}$ 左乘矩阵 $A$，等价于互换 $A$ 的第 $i$ 行与第 $j$ 行。
3. 倍加：将单位矩阵的第 $i$ 行的 $k$ 倍加到第 $j$ 行，记为 $P_{ji}(k)$。用 $P_{ji}(k)$ 左乘矩阵 $A$，等价于将 $A$ 的第 $i$ 行的 $k$ 倍加到第 $j$ 行上。

重要规律：

• 左乘初等矩阵，等价于对矩阵 $A$ 施行一次相应的初等行变换。
• 右乘初等矩阵，等价于对矩阵 $A$ 施行一次相应的初等列变换。

import numpy as np

# 创建一个3x3的矩阵A
A = np.array([[1, 2, 3],
              [4, 5, 6],
              [7, 8, 9]])
print("原始矩阵 A:")
print(A)

# 1. 构造倍乘初等矩阵 P_1(2)：将第0行乘以2
I = np.eye(3)
P_mul = I.copy()
P_mul[0, 0] = 2
print("\n倍乘初等矩阵 P_1(2):")
print(P_mul)
print("P_1(2) @ A (等价于将A的第0行乘以2):")
print(P_mul @ A)

# 2. 构造互换初等矩阵 P_12：交换第0行和第1行
P_swap = I.copy()
P_swap[[0, 1]] = P_swap[[1, 0]]
print("\n互换初等矩阵 P_12:")
print(P_swap)
print("P_12 @ A (等价于交换A的第0行和第1行):")
print(P_swap @ A)

# 3. 构造倍加初等矩阵 P_20(3)：将第0行的3倍加到第2行
P_add = I.copy()
P_add[2, 0] = 3
print("\n倍加初等矩阵 P_20(3):")
print(P_add)
print("P_20(3) @ A (等价于将A的第0行3倍加到第2行):")
print(P_add @ A)

对称矩阵与反对称矩阵

这两种矩阵描述了矩阵元素关于主对角线的特殊对称关系。

对称矩阵 (Symmetric Matrix)

定义：若一个方阵 $A$ 满足 $A = A^T$，则称 $A$ 为对称矩阵。

设 $A = (a_{ij})${n \times n}A=(aij​)n×n​，由 $A = A^T$ 可得 $a${ij} = a_{ji} 对所有 $i, j$ 成立。这意味着矩阵元素关于主对角线对称相等。例如一个 $3 \times 3$ 对称矩阵的形式为： $$A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \ a_{12} & a_{22} & a_{23} \ a_{13} & a_{23} & a_{33} \end{bmatrix}$$

反对称矩阵 (Skew-symmetric Matrix)

定义：若一个方阵 $A$ 满足 $A^T = -A$，则称 $A$ 为反对称矩阵。

设 $A = (a_{ij})${n \times n}A=(aij​)n×n​，由 $A^T = -A$ 可得 $a${ij} = -a_{ji} 对所有 $i, j$ 成立。由此可推出两个重要性质：

1. 当 $i = j$ 时，有 $a_{ii} = -a_{ii}$，故 $a_{ii} = 0$。即反对称矩阵的主对角线元素全为零。
2. 当 $i \neq j$ 时，关于主对角线对称的元素互为相反数。

例如一个 $3 \times 3$ 反对称矩阵的形式为： $$A = \begin{bmatrix} 0 & a_{12} & a_{13} \ -a_{12} & 0 & a_{23} \ -a_{13} & -a_{23} & 0 \end{bmatrix}$$

类比：对称矩阵与反对称矩阵的关系，类似于偶函数与奇函数的关系。对称矩阵要求 $f(x, y) = f(y, x)$（值相等），而反对称矩阵要求 $f(x, y) = -f(y, x)$（值相反）。

📝 动手练一练

1. 对角矩阵的运算：已知矩阵 $A = \begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix}$，对角矩阵 $D_1 = \begin{bmatrix} 2 & 0 \ 0 & 3 \end{bmatrix}$，$D_2 = \begin{bmatrix} -1 & 0 \ 0 & 2 \end{bmatrix}$。请计算 $D_1 A$，$A D_2$，并解释计算结果分别对 $A$ 的行和列做了什么操作。

2. 对称与反对称矩阵的构造： a) 若矩阵 $B = \begin{bmatrix} 1 & b_{12} & 4 \ b_{21} & -2 & b_{23} \ 4 & b_{32} & 3 \end{bmatrix}$ 是对称矩阵，求 $b_{12}, b_{21}, b_{23}, b_{32}$ 的值。 b) 若矩阵 $C = \begin{bmatrix} 0 & c_{12} & 5 \ c_{21} & 0 & c_{23} \ c_{31} & c_{32} & 0 \end{bmatrix}$ 是反对称矩阵，求 $c_{12}, c_{21}, c_{23}, c_{31}, c_{32}$ 的值。

参考答案：

1. $D_1 A = \begin{bmatrix} 2 & 4 \ 9 & 12 \end{bmatrix}$，此操作将 $A$ 的第0行乘以2，第1行乘以3。 $A D_2 = \begin{bmatrix} -1 & 4 \ -3 & 8 \end{bmatrix}$，此操作将 $A$ 的第0列乘以-1，第1列乘以2。
2. a) 由对称性 $b_{ij}=b_{ji}$，得：$b_{12}=b_{21}$，$b_{23}=b_{32}$。但题目未给出具体相等关系，仅能确定 $b_{12}=b_{21}$，$b_{23}=b_{32}$。若假设矩阵书写完整，则应有 $b_{21}=b_{12}=?$（原题可能缺条件，通常对称矩阵直接给出上三角或下三角部分）。一个完整的对称矩阵例子是：$b_{12}=b_{21}=x$, $b_{23}=b_{32}=y$，其中$x, y$为任意实数。 b) 由反对称性 $c_{ij}=-c_{ji}$，且对角线为0，得：$c_{21} = -c_{12}$, $c_{31} = -5$, $c_{32} = -c_{23}$。因此，$C = \begin{bmatrix} 0 & c_{12} & 5 \ -c_{12} & 0 & c_{23} \ -5 & -c_{23} & 0 \end{bmatrix}$，其中 $c_{12}, c_{23}$ 为任意实数。

本章小结

本节深入探讨了线性代数中几类关键的特殊矩阵，它们是构建更复杂矩阵理论和算法的基础模块。

要点回顾：

• 对角矩阵 $\text{diag}(d_1, \dots, d_n)$：左乘缩放行，右乘缩放列。
• 上三角矩阵：主对角线下方全为零；两个上三角矩阵的乘积仍是上三角矩阵。
• 基本矩阵 $E_{ij}$：仅一个元素为1；左乘“搬运”行，右乘“搬运”列。
• 初等矩阵：由单位矩阵经一次初等变换得到；左乘对应行变换，右乘对应列变换。这建立了矩阵乘法与矩阵变换之间的桥梁。
• 对称矩阵：满足 $A = A^T$，元素关于主对角线对称相等。
• 反对称矩阵：满足 $A^T = -A$，主对角元为零，对称位置元素互为相反数。

行动清单：

1. 动手验证：使用 Python 的 NumPy 库，亲自创建本节介绍的各类特殊矩阵，并验证其乘法性质（如两个上三角矩阵相乘、初等矩阵左乘实现行变换）。
2. 联系对比：将对称矩阵、反对称矩阵的定义与函数的偶函数($f(x)=f(-x)$)、奇函数($f(x)=-f(-x)$)性质进行类比，加深对“对称”与“反对称”直观含义的理解。
3. 思考应用：试想在对图像像素矩阵进行处理时，左乘一个对角矩阵可能实现什么效果？（例如：调整RGB颜色通道的亮度）。这有助于将抽象的矩阵运算与实际问题联系起来。

— 小象教研组