似然比检验 小象实战讲义 · 数据科学的统计基础
在学习了显著性检验和正态总体参数的检验后,我们面临一个核心问题:对于更一般的假设检验问题(例如原假设是参数属于某个区间),如何系统性地构造检验统计量?本节介绍的似然比检验 提供了一种统一且强大的框架。它基于极大似然估计的思想,能够处理任意分布族和任意形式的原假设,是实践中应用最广泛的检验方法之一。学完本节,你将掌握一种“万能”的检验构造工具,并能将其应用于正态与非正态总体的各类检验问题。
💡 核心导读 为何需要似然比检验 :回顾传统检验方法在构造统计量时的“经验性”与“非系统性”,引出对更一般化检验方法的需求。似然比统计量的定义与思想 :理解“在原假设参数空间与全参数空间上最大化似然函数之比”的核心构造,并掌握其统计含义——比值越小,越倾向于拒绝原假设。似然比检验的步骤与优点 :掌握从写出似然函数、求极值到构造拒绝域的标准流程,并理解其“统一构造方法”、“拒绝域方向明确”、“适用性广”三大优势。关键技巧:寻找单调统计量 :学习当似然比统计量分布未知时,如何通过寻找其单调函数(如常见的 t t t 、F F F 、卡方统计量)来等价地确定拒绝域。大样本理论:Wilks定理 :了解在大样本下,− 2 ln λ -2\ln\lambda − 2 ln λ 近似服从卡方分布的重要结论,这是许多拟合优度检验(如第五章的皮尔逊卡方检验)的理论基础。从传统检验到一般化问题 在之前的章节中,无论是Fisher的显著性检验还是针对正态总体参数的检验,构造一个检验的核心在于两点:
推导出检验统计量 T T T ,并知道其在原假设 H 0 H_0 H 0 成立条件下的分布(即“零分布”)。 根据实际问题(H 0 H_0 H 0 与 H 1 H_1 H 1 的形式)确定拒绝域 W W W 。 其中,确定拒绝域 W W W 的方向(如 ∣ T ∣ > c |T|>c ∣ T ∣ > c 还是 T > c T>c T > c )通常比较容易,但构造合适的检验统计量 T T T 并推导其零分布则相对困难 。以往的方法大多依赖于对参数估计量的直观构造(如用样本均值构造 U U U 统计量,用样本方差构造 χ 2 \chi^2 χ 2 统计量),这个过程缺乏系统性,更多地依赖经验和直觉 。
更重要的是,之前讨论的假设检验问题,其原假设大多是“特定点”或“单边”的形式,例如:
H 0 : μ = μ 0 H_0: \mu = \mu_0 H 0 : μ = μ 0 vs H 1 : μ ≠ μ 0 H_1: \mu \ne \mu_0 H 1 : μ = μ 0 H 0 : μ ≤ μ 0 H_0: \mu \le \mu_0 H 0 : μ ≤ μ 0 vs H 1 : μ > μ 0 H_1: \mu > \mu_0 H 1 : μ > μ 0 然而,更一般的假设检验问题可以表述为: H 0 : θ ∈ Θ 0 vs H 1 : θ ∈ Θ 1 H_0: \theta \in \Theta_0 \quad \text{vs} \quad H_1: \theta \in \Theta_1 H 0 : θ ∈ Θ 0 vs H 1 : θ ∈ Θ 1 其中,Θ 0 \Theta_0 Θ 0 和 Θ 1 \Theta_1 Θ 1 是参数空间 Θ \Theta Θ 的两个不相交子集,且 Θ 0 ∪ Θ 1 = Θ \Theta_0 \cup \Theta_1 = \Theta Θ 0 ∪ Θ 1 = Θ 。这里的 Θ 0 \Theta_0 Θ 0 可以是一个区间,例如 H 0 : θ 1 ≤ θ ≤ θ 2 H_0: \theta_1 \le \theta \le \theta_2 H 0 : θ 1 ≤ θ ≤ θ 2 。对于这种一般形式的假设,传统的显著性检验方法很难直接确定其拒绝域。
似然比检验 正是为了解决上述问题而提出的。它提供了一种统一的、系统化的 方法来构造检验统计量,并且其拒绝域的方向是天然确定的。
似然比检验的原理与定义 似然比统计量 设 X 1 , X 2 , … , X n X_1, X_2, \ldots, X_n X 1 , X 2 , … , X n 是来自分布族 { f ( x ; θ ) : θ ∈ Θ } {f(x;\theta): \theta \in \Theta} { f ( x ; θ ) : θ ∈ Θ } 的独立同分布样本。考虑一般的假设检验问题: H 0 : θ ∈ Θ 0 vs H 1 : θ ∈ Θ 1 = Θ − Θ 0 H_0: \theta \in \Theta_0 \quad \text{vs} \quad H_1: \theta \in \Theta_1 = \Theta - \Theta_0 H 0 : θ ∈ Θ 0 vs H 1 : θ ∈ Θ 1 = Θ − Θ 0
似然比统计量 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 定义为: λ ( x ) = sup θ ∈ Θ 0 L ( θ ; x ) sup θ ∈ Θ L ( θ ; x ) \lambda(\mathbf{x}) = \frac{\sup_{\theta \in \Theta_0} L(\theta; \mathbf{x})}{\sup_{\theta \in \Theta} L(\theta; \mathbf{x})} λ ( x ) = sup θ ∈ Θ L ( θ ; x ) sup θ ∈ Θ 0 L ( θ ; x ) 其中 L ( θ ; x ) = ∏ i = 1 n f ( x i ; θ ) L(\theta; \mathbf{x}) = \prod_{i=1}^n f(x_i; \theta) L ( θ ; x ) = ∏ i = 1 n f ( x i ; θ ) 是样本的似然函数。
分子 :在原假设 H 0 H_0 H 0 所限制的参数区域 Θ 0 \Theta_0 Θ 0 上,似然函数所能达到的最大值。这可以理解为,在 H 0 H_0 H 0 的约束下,我们能为观测数据找到的“最佳解释”的似然度。分母 :在整个参数空间 Θ \Theta Θ 上,似然函数所能达到的最大值。这就是通常的(无约束)极大似然估计 对应的似然度,是数据在所有可能参数下能得到的最“佳”解释。显然,由于 Θ 0 ⊆ Θ \Theta_0 \subseteq \Theta Θ 0 ⊆ Θ ,分母的最大值至少不小于分子的最大值,因此总有 0 ≤ λ ( x ) ≤ 1 0 \le \lambda(\mathbf{x}) \le 1 0 ≤ λ ( x ) ≤ 1 。
似然比检验的思想 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 的值越小,意味着什么?
分母(全空间最大似然)是固定的。 分子(H 0 H_0 H 0 约束下最大似然)很小。 这表明:在原假设 H 0 H_0 H 0 的框架下,我们观测到当前样本的可能性非常低 。或者说,数据更支持那些不在 Θ 0 \Theta_0 Θ 0 中的参数值(即备择假设 H 1 H_1 H 1 )。 因此,一个直观的检验法则是:当 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 小到一定程度时,我们就有理由拒绝原假设 H 0 H_0 H 0 。
似然比检验的定义 基于上述思想,我们定义水平为 α \alpha α 的似然比检验 : 其拒绝域为 W = { x : λ ( x ) ≤ c } W = {\mathbf{x}: \lambda(\mathbf{x}) \le c} W = { x : λ ( x ) ≤ c } 其中临界值 c c c ( 0 ≤ c ≤ 1 ) (0 \le c \le 1) ( 0 ≤ c ≤ 1 ) 由下式确定,以控制第一类错误概率不超过 α \alpha α : sup θ ∈ Θ 0 P θ ( λ ( X ) ≤ c ) ≤ α \sup_{\theta \in \Theta_0} P_\theta(\lambda(\mathbf{X}) \le c) \le \alpha θ ∈ Θ 0 sup P θ ( λ ( X ) ≤ c ) ≤ α
似然比检验的三大优点 :
假设形式一般化 :可以处理 H 0 : θ ∈ Θ 0 H_0: \theta \in \Theta_0 H 0 : θ ∈ Θ 0 这种非常一般的假设形式。检验统计量明确 :直接给出了检验统计量 λ ( x ) \lambda(\mathbf{x}) λ ( x ) ,无需额外构造。拒绝域方向明确 :拒绝域总是 { λ ≤ c } {\lambda \le c} { λ ≤ c } 的形式,我们只需要确定临界值 c c c 。似然比检验的实践:关键技巧与案例 在实际应用中,直接使用 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 进行检验可能会遇到一个困难:λ ( X ) \lambda(\mathbf{X}) λ ( X ) 在原假设下的精确分布(零分布)通常难以求得 ,从而无法确定临界值 c c c 。
解决这一问题的关键技巧是:寻找一个与 λ \lambda λ 单调相关的、其分布已知的统计量 T T T 。
技巧:利用单调变换 假设存在一个统计量 T = T ( X ) T = T(\mathbf{X}) T = T ( X ) ,使得 λ ( X ) \lambda(\mathbf{X}) λ ( X ) 是 T T T 的单调函数。例如,若 λ \lambda λ 是 T T T 的单调递减函数 ,那么事件 { λ ≤ c } {\lambda \le c} { λ ≤ c } 就等价于事件 { T ≥ d } {T \ge d} { T ≥ d } (其中 d d d 是某个由 c c c 决定的常数)。由于 T T T 的零分布已知(或更易求得),我们就可以转而利用 T T T 来构造拒绝域,并确定相应的临界值 d d d 。
许多常见的检验统计量,如 U U U 统计量、t t t 统计量、F F F 统计量、卡方统计量,正是通过这种方式从似然比中推导出来的。
下面通过三个典型案例来演示似然比检验的应用流程和上述技巧。
案例一:单正态总体均值的双边检验 问题 :设 X 1 , … , X n ∼ i.i.d. N ( μ , σ 2 ) X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma^2) X 1 , … , X n ∼ i.i.d. N ( μ , σ 2 ) ,其中 μ , σ 2 \mu, \sigma^2 μ , σ 2 均未知。求检验问题 H 0 : μ = μ 0 H_0: \mu = \mu_0 H 0 : μ = μ 0 vs H 1 : μ ≠ μ 0 H_1: \mu \ne \mu_0 H 1 : μ = μ 0 的水平为 α \alpha α 的似然比检验。
求解步骤 :
写出似然函数 : L ( μ , σ 2 ; x ) = ( 2 π σ 2 ) − n / 2 exp { − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 } L(\mu, \sigma^2; \mathbf{x}) = (2\pi\sigma^2)^{-n/2} \exp\left{-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2\right} L ( μ , σ 2 ; x ) = ( 2 π σ 2 ) − n /2 exp { − 2 σ 2 1 i = 1 ∑ n ( x i − μ ) 2 } 参数空间:Θ = { ( μ , σ 2 ) : μ ∈ R , σ 2 > 0 } \Theta = {(\mu, \sigma^2): \mu \in \mathbb{R}, \sigma^2 > 0} Θ = {( μ , σ 2 ) : μ ∈ R , σ 2 > 0 } 。 原假设空间:Θ 0 = { ( μ 0 , σ 2 ) : σ 2 > 0 } \Theta_0 = {(\mu_0, \sigma^2): \sigma^2 > 0} Θ 0 = {( μ 0 , σ 2 ) : σ 2 > 0 } 。
求分母的极大值(全空间MLE) : 正态分布的极大似然估计为 μ ^ = x ˉ \hat{\mu} = \bar{x} μ ^ = x ˉ , σ ^ 2 = 1 n ∑ i = 1 n ( x i − x ˉ ) 2 \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 σ ^ 2 = n 1 ∑ i = 1 n ( x i − x ˉ ) 2 。代入得: sup Θ L = ( 2 π σ ^ 2 ) − n / 2 e − n / 2 \sup_{\Theta} L = (2\pi \hat{\sigma}^2)^{-n/2} e^{-n/2} Θ sup L = ( 2 π σ ^ 2 ) − n /2 e − n /2
求分子的极大值(H 0 H_0 H 0 约束下的MLE) : 在 H 0 H_0 H 0 下,μ \mu μ 固定为 μ 0 \mu_0 μ 0 ,只需对 σ 2 \sigma^2 σ 2 求极大。易得约束下的MLE为 σ 2 = 1 n ∑ i = 1 n ( x i − μ 0 ) 2 \tilde{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \mu_0)^2 σ 2 = n 1 ∑ i = 1 n ( x i − μ 0 ) 2 。代入得: sup Θ 0 L = ( 2 π σ 2 ) − n / 2 e − n / 2 \sup_{\Theta_0} L = (2\pi \tilde{\sigma}^2)^{-n/2} e^{-n/2} Θ 0 sup L = ( 2 π σ 2 ) − n /2 e − n /2
构造似然比统计量 : λ ( x ) = sup Θ 0 L sup Θ L = ( σ ^ 2 σ 2 ) n / 2 = ( ∑ ( x i − x ˉ ) 2 ∑ ( x i − μ 0 ) 2 ) n / 2 \lambda(\mathbf{x}) = \frac{\sup_{\Theta_0} L}{\sup_{\Theta} L} = \left( \frac{\hat{\sigma}^2}{\tilde{\sigma}^2} \right)^{n/2} = \left( \frac{\sum (x_i - \bar{x})^2}{\sum (x_i - \mu_0)^2} \right)^{n/2} λ ( x ) = sup Θ L sup Θ 0 L = ( σ 2 σ ^ 2 ) n /2 = ( ∑ ( x i − μ 0 ) 2 ∑ ( x i − x ˉ ) 2 ) n /2
化简并寻找单调统计量 : 经过代数变形(具体过程略),可以得到: λ ( x ) = ( 1 + t 2 n − 1 ) − n / 2 \lambda(\mathbf{x}) = \left( 1 + \frac{t^2}{n-1} \right)^{-n/2} λ ( x ) = ( 1 + n − 1 t 2 ) − n /2 其中 t = x ˉ − μ 0 s / n t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} t = s / n x ˉ − μ 0 ,而 s 2 = 1 n − 1 ∑ ( x i − x ˉ ) 2 s^2 = \frac{1}{n-1}\sum (x_i - \bar{x})^2 s 2 = n − 1 1 ∑ ( x i − x ˉ ) 2 为样本方差。这正是我们熟悉的 t t t 统计量 。 观察函数 f ( t ) = ( 1 + t 2 n − 1 ) − n / 2 f(t) = (1 + \frac{t^2}{n-1})^{-n/2} f ( t ) = ( 1 + n − 1 t 2 ) − n /2 ,它是 ∣ t ∣ |t| ∣ t ∣ 的单调递减函数 。
确定拒绝域 : 由于 λ ≤ c \lambda \le c λ ≤ c 等价于 ∣ t ∣ ≥ d |t| \ge d ∣ t ∣ ≥ d (其中 d d d 由 c c c 决定)。而我们知道,当 H 0 H_0 H 0 成立时,t ∼ t ( n − 1 ) t \sim t(n-1) t ∼ t ( n − 1 ) 。因此,为了控制第一类错误为 α \alpha α ,我们取 d = t α / 2 ( n − 1 ) d = t_{\alpha/2}(n-1) d = t α /2 ( n − 1 ) ,即 t t t 分布的上 α / 2 \alpha/2 α /2 分位数。 最终拒绝域为 : W = { x : ∣ t ∣ ≥ t α / 2 ( n − 1 ) } W = {\mathbf{x}: |t| \ge t_{\alpha/2}(n-1)} W = { x : ∣ t ∣ ≥ t α /2 ( n − 1 )} 这正是我们熟知的双边 t t t 检验 。此例表明,对于正态均值双边检验,似然比检验与传统的 t t t 检验完全等价。
import numpy as np
import scipy.stats as stats
# 案例一:单正态总体均值双边检验的模拟验证
np.random.seed( 321 ) # 固定随机种子
mu0 = 5.0 # 原假设均值
sigma = 2.0 # 总体标准差(未知)
n = 30 # 样本量
alpha = 0.05 # 显著性水平
# 生成一组样本(假设真实均值为5.5,即H0不成立)
true_mu = 5.5
sample = np.random.normal( loc = true_mu, scale = sigma, size = n)
# 计算样本统计量
x_bar = np.mean(sample)
s = np.std(sample, ddof = 1 ) # 样本标准差,无偏估计
t_stat = (x_bar - mu0) / (s / np.sqrt(n))
# 计算临界值
t_critical = stats.t.ppf( 1 - alpha / 2 , df = n - 1 )
# 计算p值(双边)
p_value = 2 * ( 1 - stats.t.cdf( abs (t_stat), df = n - 1 ))
print ( "案例一:单正态总体均值双边检验" )
print ( f "样本均值 x̄ = { x_bar :.4f } " )
print ( f "样本标准差 s = { s :.4f } " )
print ( f "t 统计量 = { t_stat :.4f } " )
print ( f "t 临界值 (α= { alpha } ) = ± { t_critical :.4f } " )
print ( f "p 值 = { p_value :.4f } " )
if abs (t_stat) > t_critical:
print ( "结论:拒绝原假设 H0 (μ = μ0)" )
else :
print ( "结论:不拒绝原假设 H0" )
print ( "-" * 50 ) 案例二:指数分布尺度参数的检验 问题 :设 X 1 , … , X n ∼ i.i.d. f ( x ; θ ) = θ e − θ x , x > 0 X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} f(x;\theta) = \theta e^{-\theta x}, x>0 X 1 , … , X n ∼ i.i.d. f ( x ; θ ) = θ e − θ x , x > 0 ,其中 θ > 0 \theta > 0 θ > 0 未知。求检验问题 H 0 : θ = θ 0 H_0: \theta = \theta_0 H 0 : θ = θ 0 vs H 1 : θ ≠ θ 0 H_1: \theta \ne \theta_0 H 1 : θ = θ 0 的水平为 α \alpha α 的似然比检验。
求解步骤 :
写出似然函数 : L ( θ ; x ) = θ n exp ( − θ ∑ i = 1 n x i ) , x i > 0 L(\theta; \mathbf{x}) = \theta^n \exp\left(-\theta \sum_{i=1}^n x_i\right), \quad x_i > 0 L ( θ ; x ) = θ n exp ( − θ i = 1 ∑ n x i ) , x i > 0 参数空间:Θ = { θ : θ > 0 } \Theta = {\theta: \theta > 0} Θ = { θ : θ > 0 } 。 原假设空间:Θ 0 = { θ 0 } \Theta_0 = {\theta_0} Θ 0 = { θ 0 } 。
求分母的极大值(全空间MLE) : 指数分布的MLE为 θ ^ = 1 x ˉ \hat{\theta} = \frac{1}{\bar{x}} θ ^ = x ˉ 1 。代入得: sup Θ L = ( 1 x ˉ ) n exp ( − n ) \sup_{\Theta} L = \left(\frac{1}{\bar{x}}\right)^n \exp(-n) Θ sup L = ( x ˉ 1 ) n exp ( − n )
求分子的极大值(H 0 H_0 H 0 约束下的MLE) : Θ 0 \Theta_0 Θ 0 只有一个点 θ 0 \theta_0 θ 0 ,直接代入: sup Θ 0 L = θ 0 n exp ( − θ 0 n x ˉ ) \sup_{\Theta_0} L = \theta_0^n \exp\left(-\theta_0 n\bar{x}\right) Θ 0 sup L = θ 0 n exp ( − θ 0 n x ˉ )
构造似然比统计量 : λ ( x ) = θ 0 n e − θ 0 n x ˉ ( 1 / x ˉ ) n e − n = ( θ 0 x ˉ ) n e n ( 1 − θ 0 x ˉ ) \lambda(\mathbf{x}) = \frac{\theta_0^n e^{-\theta_0 n\bar{x}}}{(1/\bar{x})^n e^{-n}} = (\theta_0 \bar{x})^n e^{n(1 - \theta_0 \bar{x})} λ ( x ) = ( 1/ x ˉ ) n e − n θ 0 n e − θ 0 n x ˉ = ( θ 0 x ˉ ) n e n ( 1 − θ 0 x ˉ )
化简并寻找单调统计量 : 观察 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 的结构:令 u = θ 0 x ˉ u = \theta_0 \bar{x} u = θ 0 x ˉ ,则 λ = u n e n ( 1 − u ) \lambda = u^n e^{n(1-u)} λ = u n e n ( 1 − u ) 。对它求导可知,λ \lambda λ 在 u = 1 u = 1 u = 1 (即 x ˉ = 1 / θ 0 \bar{x} = 1/\theta_0 x ˉ = 1/ θ 0 ,恰为 MLE 处)取得最大值 1;当 u < 1 u < 1 u < 1 时单调递增,当 u > 1 u > 1 u > 1 时单调递减。也就是说,λ \lambda λ 是 X ˉ \bar{X} X ˉ 的单峰函数 ,而非单调函数。 因此,拒绝域 { λ ≤ c } {\lambda \le c} { λ ≤ c } 具有双侧形式 { X ˉ ≤ d 1 } ∪ { X ˉ ≥ d 2 } {\bar{X} \le d_1} \cup {\bar{X} \ge d_2} { X ˉ ≤ d 1 } ∪ { X ˉ ≥ d 2 } (d 1 < d 2 d_1 < d_2 d 1 < d 2 由 c c c 决定)。一个更常用的变换是考虑 2 n θ 0 X ˉ 2n\theta_0 \bar{X} 2 n θ 0 X ˉ 。可以证明,在原假设 H 0 : θ = θ 0 H_0: \theta = \theta_0 H 0 : θ = θ 0 下,统计量 2 n θ 0 X ˉ ∼ χ 2 ( 2 n ) 2n\theta_0 \bar{X} \sim \chi^2(2n) 2 n θ 0 X ˉ ∼ χ 2 ( 2 n ) (由 X ˉ \bar{X} X ˉ 服从 Gamma 分布易得)。
确定拒绝域 : 由于 λ \lambda λ 是 2 n θ 0 X ˉ 2n\theta_0 \bar{X} 2 n θ 0 X ˉ 的单峰函数,拒绝域 { λ ≤ c } {\lambda \le c} { λ ≤ c } 等价于 { 2 n θ 0 X ˉ ≤ c 1 } ∪ { 2 n θ 0 X ˉ ≥ c 2 } {2n\theta_0 \bar{X} \le c_1} \cup {2n\theta_0 \bar{X} \ge c_2} { 2 n θ 0 X ˉ ≤ c 1 } ∪ { 2 n θ 0 X ˉ ≥ c 2 } 。实践中按等尾原则取 c 1 = χ 1 − α / 2 2 ( 2 n ) c_1 = \chi^2_{1-\alpha/2}(2n) c 1 = χ 1 − α /2 2 ( 2 n ) 、c 2 = χ α / 2 2 ( 2 n ) c_2 = \chi^2_{\alpha/2}(2n) c 2 = χ α /2 2 ( 2 n ) ,其中 χ α 2 ( 2 n ) \chi^2_{\alpha}(2n) χ α 2 ( 2 n ) 是自由度为 2 n 2n 2 n 的卡方分布的上 α \alpha α 分位数。 最终拒绝域为 : W = { x : 2 n θ 0 x ˉ ≤ χ 1 − α / 2 2 ( 2 n ) 或 2 n θ 0 x ˉ ≥ χ α / 2 2 ( 2 n ) } W = {\mathbf{x}: 2n\theta_0 \bar{x} \le \chi^2_{1-\alpha/2}(2n) \ \text{或} \ 2n\theta_0 \bar{x} \ge \chi^2_{\alpha/2}(2n)} W = { x : 2 n θ 0 x ˉ ≤ χ 1 − α /2 2 ( 2 n ) 或 2 n θ 0 x ˉ ≥ χ α /2 2 ( 2 n )} 此例展示了如何将非正态总体(指数分布)的检验问题,通过似然比方法转化为一个卡方检验。
案例三:多项分布概率的检验(通向拟合优度检验) 问题 :设 ( X 1 , … , X n ) (X_1, \ldots, X_n) ( X 1 , … , X n ) 为来自多项分布 M ( n ; p 1 , … , p r ) M(n; p_1, \ldots, p_r) M ( n ; p 1 , … , p r ) 的样本,其中 ∑ i = 1 r p i = 1 \sum_{i=1}^r p_i = 1 ∑ i = 1 r p i = 1 ,p i > 0 p_i > 0 p i > 0 。令 n i n_i n i 表示 n n n 次试验中结果 i i i 出现的次数。考虑检验 H 0 : p i = p i 0 , i = 1 , … , r H_0: p_i = p_{i0}, i=1,\ldots,r H 0 : p i = p i 0 , i = 1 , … , r vs H 1 : 至少有一个 p i ≠ p i 0 H_1: \text{至少有一个 } p_i \ne p_{i0} H 1 : 至少有一个 p i = p i 0 ,其中 p i 0 p_{i0} p i 0 是已知的一组概率值。
求解步骤 :
写出似然函数 : L ( p 1 , … , p r ; n ) = n ! n 1 ! ⋯ n r ! p 1 n 1 ⋯ p r n r L(p_1, \ldots, p_r; \mathbf{n}) = \frac{n!}{n_1! \cdots n_r!} p_1^{n_1} \cdots p_r^{n_r} L ( p 1 , … , p r ; n ) = n 1 ! ⋯ n r ! n ! p 1 n 1 ⋯ p r n r 参数空间:Θ = { ( p 1 , … , p r ) : p i > 0 , ∑ p i = 1 } \Theta = {(p_1, \ldots, p_r): p_i > 0, \sum p_i = 1} Θ = {( p 1 , … , p r ) : p i > 0 , ∑ p i = 1 } 。 原假设空间:Θ 0 = { ( p 10 , … , p r 0 ) } \Theta_0 = {(p_{10}, \ldots, p_{r0})} Θ 0 = {( p 10 , … , p r 0 )} 。
求分母的极大值(全空间MLE) : 多项分布的MLE为 p ^ i = n i / n \hat{p} i = n_i / n p ^ i = n i / n 。代入得: sup Θ L = n ! n 1 ! ⋯ n r ! ( n 1 n ) n 1 ⋯ ( n r n ) n r \sup {\Theta} L = \frac{n!}{n_1! \cdots n_r!} \left(\frac{n_1}{n}\right)^{n_1} \cdots \left(\frac{n_r}{n}\right)^{n_r}Θ sup L = n 1 ! ⋯ n r ! n ! ( n n 1 ) n 1 ⋯ ( n n r ) n r
求分子的极大值(H 0 H_0 H 0 约束下的MLE) : 直接代入 p i = p i 0 p_i = p_{i0} p i = p i 0 : sup Θ 0 L = n ! n 1 ! ⋯ n r ! p 10 n 1 ⋯ p r 0 n r \sup_{\Theta_0} L = \frac{n!}{n_1! \cdots n_r!} p_{10}^{n_1} \cdots p_{r0}^{n_r} Θ 0 sup L = n 1 ! ⋯ n r ! n ! p 10 n 1 ⋯ p r 0 n r
构造似然比统计量 : λ = p 10 n 1 ⋯ p r 0 n r ( n 1 / n ) n 1 ⋯ ( n r / n ) n r \lambda = \frac{p_{10}^{n_1} \cdots p_{r0}^{n_r}}{(n_1/n)^{n_1} \cdots (n_r/n)^{n_r}} λ = ( n 1 / n ) n 1 ⋯ ( n r / n ) n r p 10 n 1 ⋯ p r 0 n r
取对数并寻找渐近分布 : 考虑 − 2 ln λ -2\ln \lambda − 2 ln λ : − 2 ln λ = 2 ∑ i = 1 r n i ln ( n i n p i 0 ) -2\ln \lambda = 2 \sum_{i=1}^r n_i \ln\left(\frac{n_i}{n p_{i0}}\right) − 2 ln λ = 2 i = 1 ∑ r n i ln ( n p i 0 n i ) 这是一个非常重要的统计量。Wilks定理 指出,在大样本下(n → ∞ n \to \infty n → ∞ ),当 H 0 H_0 H 0 成立时,− 2 ln λ -2\ln \lambda − 2 ln λ 近似服从自由度为 r − 1 r-1 r − 1 的卡方分布 ,即 − 2 ln λ ∼ ⋅ χ 2 ( r − 1 ) -2\ln \lambda \stackrel{\cdot}{\sim} \chi^2(r-1) − 2 ln λ ∼ ⋅ χ 2 ( r − 1 ) 。
确定拒绝域(大样本近似) : 由于 − 2 ln λ -2\ln \lambda − 2 ln λ 是 λ \lambda λ 的严格单调递减函数,拒绝域 { λ ≤ c } {\lambda \le c} { λ ≤ c } 等价于 { − 2 ln λ ≥ d } {-2\ln \lambda \ge d} { − 2 ln λ ≥ d } 。 利用渐近分布,取 d = χ α 2 ( r − 1 ) d = \chi^2_{\alpha}(r-1) d = χ α 2 ( r − 1 ) 。 最终拒绝域为 : W = { n : − 2 ∑ i = 1 r n i ln ( n i n p i 0 ) ≥ χ α 2 ( r − 1 ) } W = {\mathbf{n}: -2 \sum_{i=1}^r n_i \ln\left(\frac{n_i}{n p_{i0}}\right) \ge \chi^2_{\alpha}(r-1)} W = { n : − 2 i = 1 ∑ r n i ln ( n p i 0 n i ) ≥ χ α 2 ( r − 1 )} 这正是似然比卡方检验 。与之紧密相关的另一个著名统计量是 Pearson卡方统计量 : χ 2 = ∑ i = 1 r ( n i − n p i 0 ) 2 n p i 0 \chi^2 = \sum_{i=1}^r \frac{(n_i - n p_{i0})^2}{n p_{i0}} χ 2 = i = 1 ∑ r n p i 0 ( n i − n p i 0 ) 2 在大样本下,它与 − 2 ln λ -2\ln \lambda − 2 ln λ 有相同的渐近分布 χ 2 ( r − 1 ) \chi^2(r-1) χ 2 ( r − 1 ) 。Pearson卡方统计量就是第五章将要详细讨论的拟合优度检验 的核心。本例揭示了似然比检验与拟合优度检验之间的深刻联系。
# 案例三:多项分布概率检验的模拟验证 (Wilks定理)
np.random.seed( 321 )
# 原假设:三种产品的市场占有率分别为 1/3, 1/3, 1/3
p0 = np.array([ 1 / 3 , 1 / 3 , 1 / 3 ])
# 模拟抽样:实际调查了200名消费者,真实偏好可能略有不同
true_p = np.array([ 0.40 , 0.35 , 0.25 ]) # 真实概率
n = 200
# 生成多项分布样本(观测频数)
observed_counts = np.random.multinomial(n, true_p)
# 计算期望频数
expected_counts = n * p0
# 计算似然比统计量 -2lnλ
lr_stat = 2 * np.sum(observed_counts * np.log(observed_counts / expected_counts))
# 计算Pearson卡方统计量
pearson_stat = np.sum((observed_counts - expected_counts) ** 2 / expected_counts)
# 临界值 (α=0.05, df=3-1=2)
chi2_critical = stats.chi2.ppf( 0.95 , df = 2 )
# p值
lr_pvalue = 1 - stats.chi2.cdf(lr_stat, df = 2 )
pearson_pvalue = 1 - stats.chi2.cdf(pearson_stat, df = 2 )
print ( "案例三:多项分布概率检验(拟合优度)" )
print ( f "观测频数: { observed_counts } " )
print ( f "期望频数: { expected_counts } " )
print ( f "似然比统计量 -2lnλ = { lr_stat :.4f } " )
print ( f "Pearson卡方统计量 χ² = { pearson_stat :.4f } " )
print ( f "卡方临界值 (α=0.05, df=2) = { chi2_critical :.4f } " )
print ( f "-2lnλ 的 p 值 = { lr_pvalue :.4f } " )
print ( f "Pearson χ² 的 p 值 = { pearson_pvalue :.4f } " )
if lr_stat > chi2_critical:
print ( "结论(基于-2lnλ):拒绝原假设,认为市场占有率不是均等的。" )
else :
print ( "结论(基于-2lnλ):不拒绝原假设。" )
print ( "-" * 50 ) 📝 动手练一练 单正态总体方差检验 :设 X 1 , … , X n ∼ i.i.d. N ( μ , σ 2 ) X_1, \ldots, X_n \stackrel{\text{i.i.d.}}{\sim} N(\mu, \sigma^2) X 1 , … , X n ∼ i.i.d. N ( μ , σ 2 ) ,其中 μ \mu μ 已知。考虑检验 H 0 : σ 2 = σ 0 2 H_0: \sigma^2 = \sigma_0^2 H 0 : σ 2 = σ 0 2 vs H 1 : σ 2 ≠ σ 0 2 H_1: \sigma^2 \ne \sigma_0^2 H 1 : σ 2 = σ 0 2 。 a) 请写出该问题的似然比统计量 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 。 b) 证明 λ ( x ) \lambda(\mathbf{x}) λ ( x ) 是统计量 T = ∑ i = 1 n ( X i − μ ) 2 σ 0 2 T = \frac{\sum_{i=1}^n (X_i - \mu)^2}{\sigma_0^2} T = σ 0 2 ∑ i = 1 n ( X i − μ ) 2 的单调函数,并指出其单调性。 c) 利用 T T T 的分布(在原假设下),写出水平为 α \alpha α 的似然比检验的拒绝域。
大样本似然比检验应用 :一项关于消费者对三种新包装偏好的调查中,随机抽取了200人,选择包装A、B、C的人数分别为85、70、45。商家想检验消费者对三种包装的偏好是否均等(即 H 0 : p A = p B = p C = 1 / 3 H_0: p_A = p_B = p_C = 1/3 H 0 : p A = p B = p C = 1/3 )。 a) 计算该检验问题的似然比统计量 − 2 ln λ -2\ln\lambda − 2 ln λ 。 b) 计算对应的Pearson卡方统计量。 c) 在 α = 0.05 \alpha=0.05 α = 0.05 水平下,根据卡方分布做出检验决策。
参考答案 :
a) λ ( x ) = ( ∑ ( x i − μ ) 2 n σ 0 2 ) n / 2 exp { n 2 − ∑ ( x i − μ ) 2 2 σ 0 2 } \lambda(\mathbf{x}) = \left( \frac{\sum (x_i - \mu)^2}{n\sigma_0^2} \right)^{n/2} \exp\left{ \frac{n}{2} - \frac{\sum (x_i - \mu)^2}{2\sigma_0^2} \right} λ ( x ) = ( n σ 0 2 ∑ ( x i − μ ) 2 ) n /2 exp { 2 n − 2 σ 0 2 ∑ ( x i − μ ) 2 } 。 b) 令 t = ∑ ( x i − μ ) 2 / σ 0 2 t = \sum (x_i - \mu)^2 / \sigma_0^2 t = ∑ ( x i − μ ) 2 / σ 0 2 ,则 λ = ( t / n ) n / 2 e n / 2 − t / 2 \lambda = (t/n)^{n/2} e^{n/2 - t/2} λ = ( t / n ) n /2 e n /2 − t /2 。可以证明 λ \lambda λ 是 t t t 的单峰函数,当 t < n t < n t < n 时单调增,当 t > n t > n t > n 时单调减。拒绝域 { λ ≤ c } {\lambda \le c} { λ ≤ c } 等价于 { t ≤ c 1 } ∪ { t ≥ c 2 } {t \le c_1} \cup {t \ge c_2} { t ≤ c 1 } ∪ { t ≥ c 2 } 。 c) 由于 T ∼ χ 2 ( n ) T \sim \chi^2(n) T ∼ χ 2 ( n ) ,拒绝域为:{ T ≤ χ 1 − α / 2 2 ( n ) } ∪ { T ≥ χ α / 2 2 ( n ) } {T \le \chi^2_{1-\alpha/2}(n)} \cup {T \ge \chi^2_{\alpha/2}(n)} { T ≤ χ 1 − α /2 2 ( n )} ∪ { T ≥ χ α /2 2 ( n )} 。
a) − 2 ln λ = 2 [ 85 ln ( 85 / ( 200 / 3 ) ) + 70 ln ( 70 / ( 200 / 3 ) ) + 45 ln ( 45 / ( 200 / 3 ) ) ] ≈ 12.76 -2\ln\lambda = 2[85\ln(85/(200/3)) + 70\ln(70/(200/3)) + 45\ln(45/(200/3))] \approx 12.76 − 2 ln λ = 2 [ 85 ln ( 85/ ( 200/3 )) + 70 ln ( 70/ ( 200/3 )) + 45 ln ( 45/ ( 200/3 ))] ≈ 12.76 。 b) Pearson卡方统计量:χ 2 = ( 85 − 200 / 3 ) 2 200 / 3 + ( 70 − 200 / 3 ) 2 200 / 3 + ( 45 − 200 / 3 ) 2 200 / 3 ≈ 12.25 \chi^2 = \frac{(85-200/3)^2}{200/3} + \frac{(70-200/3)^2}{200/3} + \frac{(45-200/3)^2}{200/3} \approx 12.25 χ 2 = 200/3 ( 85 − 200/3 ) 2 + 200/3 ( 70 − 200/3 ) 2 + 200/3 ( 45 − 200/3 ) 2 ≈ 12.25 。 c) 自由度 d f = 3 − 1 = 2 df = 3-1 = 2 df = 3 − 1 = 2 ,χ 0.05 2 ( 2 ) = 5.99 \chi^2_{0.05}(2) = 5.99 χ 0.05 2 ( 2 ) = 5.99 。由于 12.76 > 5.99 12.76 > 5.99 12.76 > 5.99 且 12.25 > 5.99 12.25 > 5.99 12.25 > 5.99 ,两个统计量均拒绝原假设,认为消费者对三种包装的偏好不是均等的。
本章小结 本节系统介绍了假设检验中一个极其重要且实用的方法——似然比检验 。
要点回顾 :
动机 :为解决一般性假设检验问题(H 0 : θ ∈ Θ 0 H_0: \theta \in \Theta_0 H 0 : θ ∈ Θ 0 )提供统一的检验统计量构造方法。核心 :似然比统计量 λ = sup Θ 0 L ( θ ) sup Θ L ( θ ) \lambda = \frac{\sup_{\Theta_0} L(\theta)}{\sup_{\Theta} L(\theta)} λ = s u p Θ L ( θ ) s u p Θ 0 L ( θ ) ,其值越小,数据越不支持原假设。检验定义 :拒绝域为 { λ ≤ c } {\lambda \le c} { λ ≤ c } ,c c c 由控制第一类错误概率 ≤ α \le \alpha ≤ α 确定。实践技巧 :当 λ \lambda λ 的精确分布未知时,寻找一个与之单调相关、分布已知的统计量(如 t t t , F F F , χ 2 \chi^2 χ 2 )来等价构造检验;当 λ \lambda λ 是某统计量的单峰函数时(如案例二与练习题1),拒绝域为双侧形式。大样本理论 :Wilks定理保证了在正则条件下,− 2 ln λ ∼ ⋅ χ 2 ( df ) -2\ln\lambda \stackrel{\cdot}{\sim} \chi^2(\text{df}) − 2 ln λ ∼ ⋅ χ 2 ( df ) ,其中自由度 df = dim ( Θ ) − dim ( Θ 0 ) \text{df} = \dim(\Theta) - \dim(\Theta_0) df = dim ( Θ ) − dim ( Θ 0 ) 。这是许多拟合优度检验的理论基石。广泛应用 :从正态总体到非正态总体(如指数分布、多项分布),从连续数据到离散数据,似然比检验都提供了可行的检验路径。行动清单 :
掌握标准流程 :面对一个参数检验问题,尝试按照“写似然函数 → 求约束/无约束MLE → 构造 λ \lambda λ → 化简找单调统计量 → 利用已知分布定拒绝域”的步骤进行推导。代码验证 :使用Python的scipy.stats模块,对你推导出的检验统计量进行模拟抽样,验证其分布(尤其是零分布)是否与理论一致,并计算实际的检验功效。联系前后知识 :理解似然比检验与极大似然估计的思想关联,并预习第五章,了解基于似然比渐近分布的卡方检验如何用于分布的拟合优度检验。— 小象教研组