模型调参方法

超参数寻优利器：网格搜索 GridSearchCV、随机搜索 RandomizedSearchCV 与自动调优精讲

小象实战讲义 · Python数据分析实战

在机器学习建模中，算法模型的参数可以分为两类：一类是模型在 fit 过程中自动学习出来的内部权重参数（如回归斜率 $w$）；另一类则是由工程师在建模前人为设定的超参数（Hyperparameters）（如随机森林的决策树棵数 n_estimators、树的最大深度 max_depth、支持向量机的正则化惩罚系数 C 与核函数宽度 gamma）。不同的超参数组合对模型性能有着决定性的影响。为了从成千上万种参数组合中找到全局最优解，网格搜索（GridSearchCV） 是最高效省力的全自动寻优工具。本节我们将深入学习超参数调优的理论与实战。

💡 核心导读

• 网格搜索 GridSearchCV 核心原理：对指定的超参数网格执行笛卡尔积全排列遍历，并在每个参数组合上运行 K 折交叉验证，输出全局最优解。
• 三大核心属性：best_params_（最优参数字典）、best_score_（最佳交叉验证得分）与 best_estimator_（自动拟合了全量训练集的最优模型实例）。
• 随机搜索 RandomizedSearchCV：在超参数空间极大时通过随机采样以 1/10 的算力逼近全局最优。

1. GridSearchCV 笛卡尔积参数网格搜索模型

网格搜索对参数空间进行穷举测试：

┌─────────────────────────────────────────────────────────────┐
│                 GridSearchCV 笛卡尔积搜索拓扑               │
├─────────────────────────────────────────────────────────────┤
│ 参数 1: n_estimators ∈ [50, 100] (2 种可能)                 │
│ 参数 2: max_depth ∈ [3, 5, 8]     (3 种可能)                 │
│ 组合总数 = 2 x 3 = 6 种参数组合                              │
│ 若开启 5 折 CV ──► 底层自动执行 6 x 5 = 30 次模型训练与评测  │
│ 最终自动输出综合表现最好的最优参数组合！                    │
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestClassifier

# 1. 构建模拟业务分类数据集
X, y = make_classification(n_samples=300, n_features=8, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 2. 定义超参数待搜索网格字典 (Param Grid)
param_grid = {
    "n_estimators": [30, 50, 100],
    "max_depth": [3, 5, 7],
    "min_samples_split": [2, 5]
}

# 3. 创建并执行 GridSearchCV (开启 4 折交叉验证与多核并行 n_jobs=-1)
grid_search = GridSearchCV(
    estimator=RandomForestClassifier(random_state=42),
    param_grid=param_grid,
    cv=4,
    scoring="accuracy",
    n_jobs=-1 # 开启全 CPU 核心加速
)

grid_search.fit(X_train, y_train)

print("=== 1. GridSearchCV 超参数寻优收官 ===")
print("• 全局最优超参数组合 (best_params_):", grid_search.best_params_)
print(f"• 最佳 4 折 CV 准确率 (best_score_) : {grid_search.best_score_:.4f}")

2. 提取最优模型并在测试集上做最终验证

best_estimator_ 是已经用最优参数在完整训练集上重新拟合好的成熟模型，可直接用于预测。

# 4. 直接使用 best_estimator_ 对独立测试集进行最终评估
best_rf = grid_search.best_estimator_
test_accuracy = best_rf.score(X_test, y_test)
print(f"\n=== 2. 最优模型在未知测试集上的最终准确率: {test_accuracy:.4f} ===")

# 查看详细的网格搜索记录前 3 行
cv_df = pd.DataFrame(grid_search.cv_results_)
print("\n网格搜索各参数组合历史耗时与得分摘要:\n", cv_df[["params", "mean_test_score", "rank_test_score"]].head(3))

📝 动手练一练

1. 架构思考题：当超参数网格包含 5 个参数，每个参数有 5 个候选值，且开启 5 折交叉验证时，需要训练多少次模型？若算力有限，应该优先采用什么替代方案？

   👉 点击查看参考答案

   参考答案：

   • 需要训练：$5^5 \times 5 = 3125 \times 5 = 15625$ 次模型，计算量极其巨大；
   • 替代方案：改用 RandomizedSearchCV（随机搜索） 或 贝叶斯超参数优化（Bayesian Optimization / Optuna）。随机搜索只需随机采样 50~100 组代表性组合，就能以不到 1% 的计算开销找到极为接近最优解的参数。

2. 编程练习：编写代码配置一个简单的 GridSearchCV，在决策树上搜索 max_depth 从 [2, 4, 6] 的最优值。

   👉 点击查看参考答案

   参考答案：

   from sklearn.model_selection import GridSearchCV
   from sklearn.tree import DecisionTreeClassifier
   grid = GridSearchCV(DecisionTreeClassifier(), {'max_depth': [2, 4, 6]}, cv=3)
   grid.fit([[1], [2], [3], [4]], [0, 0, 1, 1])
   print("Best Depth:", grid.best_params_)

本章小结

• 深入掌握了超参数（Hyperparameter）与内部学习参数的本质区别；
• 熟练运用 GridSearchCV 与 param_grid 完成全自动参数寻优与交叉验证；
• 掌握了从 best_params_ 到 best_estimator_ 直接投入生产预测的标准流程。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《模型评估体系全解：混淆矩阵、精确率、召回率与 ROC-AUC》！

—— 小象教研组