矩估计

矩估计

小象实战讲义 · 数据科学的统计基础

在统计推断中，参数估计是核心任务之一，它旨在利用样本信息对未知的总体参数进行推断。点估计是参数估计的一种重要形式，它试图用一个具体的数值（“点”）来估计参数。本节将介绍点估计中最基础、最直观的方法之一——矩估计。学完本节，你将掌握矩估计的核心思想与操作步骤，能够为常见分布的参数构建矩估计量，并理解其优良性质的理论基础。

💡 核心导读

• 替换原理：矩估计的统计思想，即用样本矩（如样本均值、样本方差）去“替换”总体矩，进而估计参数。
• 矩估计法：通过建立“总体矩 = 样本矩”的方程组，求解出未知参数的估计量。
• 相合性：矩估计的一个重要优良性质，即当样本量趋于无穷时，估计量会依概率收敛到真实参数。
• 理论基础：矩估计的合理性由辛钦大数定律和连续映射定理等大样本理论所保证。

替换原理与矩法估计

矩估计法（Method of Moments, MME）由统计学家卡尔·皮尔逊（Karl Pearson）于1900年提出，其核心思想被称为替换原理。该原理包含两层含义：

1. 用样本矩去替换总体矩，这里的矩可以是原点矩，也可以是中心矩。
2. 用样本矩的函数去替换相应的总体矩的函数。

根据替换原理，即使在总体分布形式未知的场合，我们也可以对各种参数作出估计。例如：

• 用样本均值 $\bar{X}$ 估计总体均值 $\mu$。
• 用样本方差 $S^2$ 估计总体方差 $\sigma^2$。
• 用事件 $A$ 出现的频率 $f_A$ 估计事件 $A$ 发生的概率 $P(A)$。
• 用样本的 $p$ 分位数估计总体的 $p$ 分位数。

矩法估计的统计思想（替换原理）十分简单明确，易于理解和接受，因此应用场合很广。其本质是用经验分布函数去替换总体分布函数，其理论基础是格列文科定理，该定理保证了经验分布函数是总体分布函数的一致相合估计。

矩估计的定义与步骤

在正式定义矩估计之前，我们先回顾样本矩与总体矩的概念。

设 $X_1, X_2, \ldots, X_n$ 是来自总体 $X$ 的一个样本。

• 样本 $k$ 阶原点矩：$A_k = \frac{1}{n} \sum_{i=1}^{n} X_i^k$。
  • 特别地，一阶原点矩 $A_1 = \bar{X}$ 即为样本均值。
• 样本 $k$ 阶中心矩：$B_k = \frac{1}{n} \sum_{i=1}^{n} (X_i - \bar{X})^k$。
  • 特别地，二阶中心矩 $B_2$ 是样本方差（未修正版本）。

相应地，设总体 $X$ 的分布函数为 $F(x; \theta)$，其中 $\theta = (\theta_1, \theta_2, \ldots, \theta_m)$ 是 $m$ 维未知参数向量。

• 总体 $k$ 阶原点矩：$\mu_k = E(X^k)$。
• 总体 $k$ 阶中心矩：$\nu_k = E[(X - E(X))^k]$。

矩估计法的操作流程： 假设总体 $X$ 的前 $m$ 阶原点矩 $\mu_1, \mu_2, \ldots, \mu_m$ 存在，并且它们都是参数 $\theta$ 的函数，即： $$\mu_k = g_k(\theta_1, \theta_2, \ldots, \theta_m), \quad k = 1, 2, \ldots, m.$$ 矩估计法的核心是建立如下方程组： $$\begin{cases} \mu_1 = g_1(\theta_1, \theta_2, \ldots, \theta_m) = A_1 \ \mu_2 = g_2(\theta_1, \theta_2, \ldots, \theta_m) = A_2 \ \vdots \ \mu_m = g_m(\theta_1, \theta_2, \ldots, \theta_m) = A_m \end{cases}$$ 这个方程组体现了“用样本矩替换总体矩”的思想。解此方程组，得到参数 $\theta$ 的解，记为 $\hat{\theta}_1, \hat{\theta}_2, \ldots, \hat{\theta}_m$。由于解是样本 $X_1, X_2, \ldots, X_n$ 的函数，我们称 $\hat{\theta} = (\hat{\theta}_1, \hat{\theta}_2, \ldots, \hat{\theta}_m)$ 为参数 $\theta$ 的矩估计量。

注意：矩估计不要求知道总体的具体分布形式，但要求所涉及的总体矩存在。有时为了计算方便，也可能使用中心矩来建立方程。

矩估计的实例

实例1：估计均值和方差

设总体 $X$ 的均值 $E(X) = \mu$，方差 $Var(X) = \sigma^2$ 均未知（不假定具体分布）。$X_1, X_2, \ldots, X_n$ 是来自该总体的样本，试求 $\mu$ 和 $\sigma^2$ 的矩估计。

解： 总体涉及两个参数 ($\mu, \sigma^2$)，需要两个方程。我们利用一阶和二阶原点矩。

1. 总体一阶原点矩：$\mu_1 = E(X) = \mu$。
2. 总体二阶原点矩：$\mu_2 = E(X^2) = Var(X) + [E(X)]^2 = \sigma^2 + \mu^2$。
3. 样本一阶原点矩：$A_1 = \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$。
4. 样本二阶原点矩：$A_2 = \frac{1}{n}\sum_{i=1}^n X_i^2$。

建立矩估计方程： $$\begin{cases} \mu = \bar{X} \ \sigma^2 + \mu^2 = \frac{1}{n}\sum_{i=1}^n X_i^2 \end{cases}$$ 解得： $$\hat{\mu}$${MME} = \bar{X}μ^​MME​=Xˉ $$\hat{\sigma}^2$${MME} = \frac{1}{n}\sum_{i=1}^n X_i^2 - \bar{X}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2 因此，总体均值 $\mu$ 的矩估计是样本均值 $\bar{X}$，总体方差 $\sigma^2$ 的矩估计是（未修正的）样本方差 $B_2$。注意，这与常用的无偏样本方差 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 相差一个因子，即 $\hat{\sigma}^2_{MME} = \frac{n-1}{n} S^2$。

实例2：估计均匀分布的参数

设总体 $X \sim U(a, b)$，即服从区间 $[a, b]$ 上的均匀分布，其概率密度函数为： $$f(x; a, b) = \begin{cases} \frac{1}{b-a}, & a \le x \le b \ 0, & \text{其他} \end{cases}$$ 其中 $a < b$，且 $a, b$ 未知。$X_1, X_2, \ldots, X_n$ 是来自该总体的样本，试求 $a$ 和 $b$ 的矩估计。

解： 均匀分布的均值和方差为： $$E(X) = \frac{a+b}{2}, \quad Var(X) = \frac{(b-a)^2}{12}$$ 根据实例1的结论，我们可以直接用样本矩来估计总体均值和方差： $$\hat{E}(X) = \bar{X}, \quad \widehat{Var}(X) = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$$ 现在，$a$ 和 $b$ 是总体矩的函数。我们需要“用样本矩的函数去替换总体矩的函数”。令： $$\begin{cases} \frac{\hat{a} + \hat{b}}{2} = \bar{X} \ \frac{(\hat{b} - \hat{a})^2}{12} = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2 \end{cases}$$ 记 $B_2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$。解此方程组： 由第二式得：$\hat{b} - \hat{a} = \sqrt{12 B_2}$。 结合第一式 $\hat{a} + \hat{b} = 2\bar{X}$，解得： $$\hat{a}$${MME} = \bar{X} - \sqrt{3 B_2}, \quad \hat{b}{MME} = \bar{X} + \sqrt{3 B_2} 这就是参数 $a$ 和 $b$ 的矩估计量。

import numpy as np
from scipy import stats

# 设置随机种子以确保结果可复现
np.random.seed(2025)

# 模拟参数
true_a, true_b = 3, 8
sample_size = 1000

# 从均匀分布 U(3, 8) 中生成样本
sample = np.random.uniform(true_a, true_b, sample_size)

# 计算样本矩
sample_mean = np.mean(sample)
sample_var_mme = np.var(sample, ddof=0)  # ddof=0 计算的是 (1/n)*Σ(xi-mean)^2，即矩估计方差

# 根据矩估计公式计算 a 和 b 的估计值
b2 = sample_var_mme
a_hat_mme = sample_mean - np.sqrt(3 * b2)
b_hat_mme = sample_mean + np.sqrt(3 * b2)

print(f"真实参数: a = {true_a}, b = {true_b}")
print(f"样本均值: {sample_mean:.4f}, 样本矩估计方差(B2): {b2:.4f}")
print(f"矩估计结果: â = {a_hat_mme:.4f}, b̂ = {b_hat_mme:.4f}")
print(f"估计误差: Δa = {a_hat_mme - true_a:.4f}, Δb = {b_hat_mme - true_b:.4f}")

矩估计的相合性

评价一个估计量的优劣有多种准则，如无偏性、有效性等。相合性（Consistency）是一个关于大样本（样本量 $n \to \infty$）的优良性质，它要求估计量随着样本信息的增加而越来越接近真实参数。

定义（相合估计）：设 $\hat{\theta}_n = \hat{\theta}$n(X_1, X_2, \ldots, X_n)θ^n​=θ^n​(X1​,X2​,…,Xn​) 是参数 $\theta$ 的一个估计量。如果对于任意 $\epsilon > 0$，都有 $$\lim$${n \to \infty} P(|\hat{\theta}_n - \theta| \ge \epsilon) = 0 则称 $\hat{\theta}_n$ 是 $\theta$ 的相合估计，或称 $\hat{\theta}_n$ 依概率收敛于 $\theta$，记作 $\hat{\theta}_n \xrightarrow{P} \theta$。

矩估计具有相合性，其理论基础是以下两个重要定理：

1. 辛钦大数定律：设 $X_1, X_2, \ldots, X_n$ 独立同分布，且 $E(X_1) = \mu$ 存在，则样本均值 $\bar{X}_n \xrightarrow{P} \mu$。更一般地，若 $E(|X_1^k|)$ 存在，则样本 $k$ 阶原点矩 $A_k \xrightarrow{P} \mu_k$。
2. 连续映射定理：如果 $\hat{\theta}${n1}, \ldots, \hat{\theta}{nk} 分别是 $\theta_1, \ldots, \theta_k$ 的相合估计，且函数 $g$ 在点 $(\theta_1, \ldots, \theta_k)$ 处连续，则 $g(\hat{\theta}${n1}, \ldots, \hat{\theta}{nk}) 是 $g(\theta_1, \ldots, \theta_k)$ 的相合估计。

矩估计量是样本矩的函数。由辛钦大数定律，样本矩 $A_k$ 是总体矩 $\mu_k$ 的相合估计。在矩估计的求解过程中，我们通过连续函数（求解方程组的反函数）将样本矩映射为参数估计 $\hat{\theta}$。根据连续映射定理，$\hat{\theta}$ 就是 $\theta$ 的相合估计。

此外，判断一个估计量是否相合，还有一个实用的充分条件定理： 定理：如果估计量 $\hat{\theta}_n$ 满足：

1. 渐近无偏性：$\lim_{n \to \infty} E(\hat{\theta}_n) = \theta$。
2. 方差趋于零：$\lim_{n \to \infty} Var(\hat{\theta}_n) = 0$。 则 $\hat{\theta}_n$ 是 $\theta$ 的相合估计。

证明思路（利用切比雪夫不等式）： 对于任意 $\epsilon > 0$，由切比雪夫不等式有： $$P(|\hat{\theta}_n - E(\hat{\theta}_n)| \ge \frac{\epsilon}{2}) \le \frac{4Var(\hat{\theta}$$n)}{\epsilon^2}P(∣θ^n​−E(θ^n​)∣≥2ϵ​)≤ϵ24Var(θ^n​)​ 由于 $\lim${n \to \infty} E(\hat{\theta}_n) = \theta，当 $n$ 充分大时，$|E(\hat{\theta}_n) - \theta| < \frac{\epsilon}{2}$。此时，若 $|\hat{\theta}_n - E(\hat{\theta}_n)| < \frac{\epsilon}{2}$，根据三角不等式必有 $|\hat{\theta}_n - \theta| < \epsilon$。因此， $${|\hat{\theta}_n - \theta| \ge \epsilon} \subset {|\hat{\theta}_n - E(\hat{\theta}_n)| \ge \frac{\epsilon}{2}}$$ 从而 $$P(|\hat{\theta}_n - \theta| \ge \epsilon) \le P(|\hat{\theta}_n - E(\hat{\theta}_n)| \ge \frac{\epsilon}{2}) \le \frac{4Var(\hat{\theta}_n)}{\epsilon^2}$$ 当 $n \to \infty$ 时，由条件 $Var(\hat{\theta}_n) \to 0$，可得上式右端趋于 $0$，故 $\hat{\theta}_n \xrightarrow{P} \theta$。

📝 动手练一练

1. 伽马分布的矩估计：设总体 $X \sim \Gamma(\alpha, \lambda)$，其概率密度函数为 $f(x; \alpha, \lambda) = \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, x>0$，其中形状参数 $\alpha>0$，尺度参数 $\lambda>0$ 均未知。已知 $E(X) = \alpha/\lambda$， $Var(X) = \alpha/\lambda^2$。设 $X_1, X_2, \ldots, X_n$ 为来自该总体的样本，试求参数 $\alpha$ 和 $\lambda$ 的矩估计量 $\hat{\alpha}${MME}α^MME​ 和 $\hat{\lambda}${MME}。

2. 相合性判断：设 $X_1, X_2, \ldots, X_n$ 是来自总体 $X$ 的样本，$E(X)=\mu$， $Var(X)=\sigma^2$。考虑总体均值 $\mu$ 的两个估计量： $\hat{\mu}_1 = \bar{X}$（样本均值）， $\hat{\mu}_2 = X_1$（第一个观测值）。 请判断这两个估计量是否满足：(a) 无偏性；(b) 相合性（可利用本节介绍的充分条件定理）。

参考答案：

1. 建立矩估计方程： $$\begin{cases} \alpha / \lambda = \bar{X} \ \alpha / \lambda^2 = B_2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2 \end{cases}$$ 解得：$\hat{\lambda}${MME} = \frac{\bar{X}}{B_2}λ^MME​=B2​Xˉ​， $\hat{\alpha}${MME} = \frac{\bar{X}^2}{B_2}。

2. (a) 无偏性：$E(\hat{\mu}_1) = \mu$， 无偏；$E(\hat{\mu}_2) = \mu$， 无偏。 (b) 相合性：

   • 对于 $\hat{\mu}_1 = \bar{X}$：$E(\bar{X}) = \mu$ (无偏)， $Var(\bar{X}) = \sigma^2/n \to 0$ (当 $n \to \infty$)。满足相合性充分条件，故是相合估计。
   • 对于 $\hat{\mu}_2 = X_1$：$E(X_1) = \mu$ (无偏)，但 $X_1$ 的分布不随 $n$ 变化：对任意固定的 $\varepsilon > 0$，$P(|X_1 - \mu| \ge \varepsilon)$ 是一个与 $n$ 无关的正常数（例如正态总体下 $P(|X_1-\mu| \ge \sigma) \approx 0.317$），不会随 $n \to \infty$ 趋于 0。按相合性的定义，$X_1$ 不是 $\mu$ 的相合估计。直观上，无论样本多大，$\hat{\mu}_2$ 只用了第一个样本的信息，精度不会提高。

本章小结

本节系统介绍了点估计中的矩估计法。

• 核心思想：替换原理——用样本矩及其函数替换总体矩及其函数。
• 操作步骤：1) 计算总体前 $m$ 阶矩（表示为参数的函数）；2) 计算对应的样本矩；3) 令总体矩等于样本矩，建立方程组；4) 解方程组得到参数的矩估计量。
• 主要性质：矩估计量通常具有相合性，这是由辛钦大数定律和连续映射定理保证的优良大样本性质。
• 优点与局限：思想直观、计算简单、无需知道总体具体分布（只需矩存在）。但矩估计可能不唯一，有时效率不如其他估计方法（如极大似然估计）。

行动清单

1. 巩固概念：用自己的话复述“替换原理”的两层含义，并举例说明。
2. 动手推导：针对正态分布 $N(\mu, \sigma^2)$，独立推导其参数 $\mu$ 和 $\sigma^2$ 的矩估计量，并与实例1的结果进行比较。
3. 代码验证：修改本节Python示例，将其应用于练习1的伽马分布。使用 scipy.stats.gamma.rvs 生成模拟数据，分别计算矩估计值与真实参数，观察样本量增大时估计精度的变化。

— 小象教研组