过拟合与欠拟合

模型泛化能力中枢：欠拟合与过拟合诊断、偏差-方差权衡 Bias-Variance 与正则化精讲

小象实战讲义 · Python数据分析实战

在训练机器学习模型时，我们追求的终极目标不是让模型在训练集上取得 100% 的满分，而是让模型具备在未知数据上依然表现优异的泛化能力（Generalization）。在建模过程中，模型往往在两个极端之间摇摆：要么过于简单导致欠拟合（Underfitting，高偏差），要么过于复杂死记硬背训练集导致过拟合（Overfitting，高方差）。理解**偏差-方差权衡（Bias-Variance Tradeoff）**并掌握抑制过拟合的工程手段，是进阶资深算法工程师的必经之路。本节我们将深入剖析过拟合与欠拟合的机理与应对策略。

💡 核心导读

• 欠拟合（Underfitting / 高偏差 High Bias）：模型复杂度不足，未能在训练集上学习到有效规律（训练集与测试集得分均很低）。
• 过拟合（Overfitting / 高方差 High Variance）：模型过度拟合了训练集中的随机噪声与细节（训练集满分，测试集断崖式下跌）。
• 泛化误差分解（Bias-Variance Decomposition）：$\text{Error} = \text{Bias}^2 + \text{Variance} + \sigma_{\text{noise}}^2$。
• 四大抑制过拟合的核心工程武器：增加样本量、降低模型复杂度（剪枝/限制树深）、特征选择（剔除冗余特征）、引入正则化惩罚（L1/L2）。

1. 欠拟合与过拟合的几何形态与数学本质

三种拟合状态的拟合曲线与误差表现如下：

┌─────────────────────────────────────────────────────────────┐
│                 欠拟合 vs 理想拟合 vs 过拟合                │
├─────────────────────────────────────────────────────────────┤
│ 1. 欠拟合 (Underfitting): 用直线拟合二次曲线 (高偏差)       │
│ 2. 理想拟合 (Good Fit):   平滑拟合真实主干规律 (泛化最佳)   │
│ 3. 过拟合 (Overfitting):  多项式穿过每个噪声点 (高方差)     │
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 1. 模拟非线性正弦波带噪声样本
np.random.seed(42)
X = np.sort(np.random.uniform(0, 5, 80))[:, np.newaxis]
y = np.sin(X).ravel() + np.random.normal(0, 0.2, 80)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 2. 分别训练：过浅树 (欠拟合)、适中树 (理想)、过深树 (严重过拟合)
tree_underfit = DecisionTreeRegressor(max_depth=1)
tree_good = DecisionTreeRegressor(max_depth=3)
tree_overfit = DecisionTreeRegressor(max_depth=15) # 不限树深，极易过拟合

models = {"欠拟合 (max_depth=1)": tree_underfit, "良好拟合 (max_depth=3)": tree_good, "过拟合 (max_depth=15)": tree_overfit}

results = []
for name, m in models.items():
    m.fit(X_train, y_train)
    mse_train = mean_squared_error(y_train, m.predict(X_train))
    mse_test = mean_squared_error(y_test, m.predict(X_test))
    results.append({"模型状态": name, "训练集 MSE": f"{mse_train:.4f}", "测试集 MSE": f"{mse_test:.4f}", "泛化差距 (Test-Train)": f"{mse_test - mse_train:.4f}"})

print("=== 1. 欠拟合与过拟合误差诊断矩阵 ===")
print(pd.DataFrame(results))

2. 过拟合的诊断法则与调控策略

当“训练集误差极小而测试集误差急剧反弹放大”时，即触发过拟合预警，需引入正则化或限制树深。

# 诊断准则打印
print("\n=== 2. 过拟合诊断黄金准则 ===")
print("""
• 诊断特征 1: 训练集得分极高 (R2 > 0.99)，但测试集得分惨跌 (R2 < 0.60)；
• 解决方案 1 (树模型): 限制树最大深度 (max_depth)、提高叶节点最小样本数 (min_samples_leaf)；
• 解决方案 2 (线性模型): 增大 L1/L2 正则化惩罚系数 alpha；
• 解决方案 3 (数据工程): 引入交叉验证，增加高质量训练样本。
""")

📝 动手练一练

1. 概念思考题：在训练决策树时，如果不设置 max_depth（默认无限深），为什么几乎总是会导致严重的过拟合？

   👉 点击查看参考答案

   参考答案： 决策树如果不设树深限制，会一直分裂节点直到每个叶子节点只包含 1 个样本（纯度 100%）。此时模型不再是学习通用规律，而是把训练集中所有的随机测量噪声、异常离群点都变成了硬编码规则，导致面对新样本时方差巨大、泛化能力极差。

2. 编程练习：使用 DecisionTreeRegressor 拟合数据，并通过设置 max_depth=2 防止模型过拟合。

   👉 点击查看参考答案

   参考答案：

   from sklearn.tree import DecisionTreeRegressor
   dt = DecisionTreeRegressor(max_depth=2)
   dt.fit([[1], [2], [3], [4]], [1.1, 1.9, 3.2, 4.0])

本章小结

• 深刻理解了偏差（Bias）与方差（Variance）此消彼长的权衡机理；
• 掌握了通过训练集与测试集误差差距诊断过拟合的科学方法；
• 熟练运用限制树深、正则化与数据扩增等手段提升模型的泛化表现。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《模型调优(1)：K 折交叉验证与评估方差控制》！

—— 小象教研组