使用scikit-learn的流程

scikit-learn 模块化知识库：常用子模块职责、模型算法库与工具箱全景速查

小象实战讲义 · Python数据分析实战

作为功能庞大的机器学习工业库，scikit-learn 内部按照机器学习生命周期的不同阶段进行了严密的模块化解耦（Submodules）。从数据清洗特征工程、经典算法模型库，到模型超参数搜索与评估指标，每个子模块都分工明确、各司其职。掌握常用子模块的包路径与核心函数分布，是提升算法开发效率与快速查阅官方文档的必备基本功。本节我们将系统梳理 sklearn 的核心子模块地图。

💡 核心导读

• scikit-learn 六大核心子模块矩阵：
  • sklearn.preprocessing：数据标准化、归一化、独热编码与缺失值插补；
  • sklearn.linear_model：线性回归、岭回归、Lasso、逻辑回归；
  • sklearn.tree & sklearn.ensemble：决策树、随机森林、梯度提升树（GBDT）；
  • sklearn.cluster：K-Means、DBSCAN、层次聚类；
  • sklearn.model_selection：数据集拆分（train_test_split）、交叉验证与网格搜索；
  • sklearn.metrics：混淆矩阵、准确率、F1 分数、ROC-AUC、MSE。
• 模块化调包最佳实践。

1. sklearn 核心子模块职责与函数映射矩阵

各常用子模块的职能分工如下：

┌─────────────────────────────────────────────────────────────┐
│                 scikit-learn 核心子模块地图                 │
├─────────────────────────┬───────────────────────────────────┤
│ 子模块包路径            │ 包含的核心类与函数                │
├─────────────────────────┼───────────────────────────────────┤
│ preprocessing           │ StandardScaler, MinMaxScaler, OHE │
│ linear_model            │ LinearRegression, LogisticReg     │
│ tree & ensemble         │ DecisionTreeClassifier, RandomForest│
│ cluster                 │ KMeans, DBSCAN                    │
│ model_selection         │ train_test_split, GridSearchCV    │
│ metrics                 │ accuracy_score, confusion_matrix  │
└─────────────────────────┴───────────────────────────────────┘

# 示例 1：常用模块标准化导入与协同

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, classification_report
import numpy as np

# 1. 模块协同：从数据切分到评估
X = np.random.randn(100, 4)
y = np.random.choice([0, 1], size=100)

# 使用 model_selection 模块切分
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=42)

# 使用 preprocessing 模块标准化
scaler = StandardScaler()
X_tr_sc = scaler.fit_transform(X_tr)
X_te_sc = scaler.transform(X_te)

# 使用 ensemble 模块训练随机森林
rf = RandomForestClassifier(n_estimators=50, random_state=42)
rf.fit(X_tr_sc, y_tr)

# 使用 metrics 模块评估
y_pred = rf.predict(X_te_sc)
print("=== 1. 模块化协同测试准确率 ===")
print("Accuracy:", accuracy_score(y_te, y_pred))

2. 工业级标准导入模板

在编写生产级算法工程时，按照数据准备、模型选择、评估的顺序分层导入模块。

print("\n=== 2. 标准工业级 sklearn 模块导入规范 ===")
print("""
# 1. 预处理与特征工程
from sklearn.preprocessing import StandardScaler, OneHotEncoder
# 2. 数据切分与调参
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV
# 3. 算法模型库
from sklearn.linear_model import LogisticRegression, Ridge
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
# 4. 模型评估指标
from sklearn.metrics import confusion_matrix, roc_auc_score, mean_squared_error
""")

📝 动手练一练

1. 概念思考题：在 scikit-learn 中，如果需要对包含非平衡类别的数据集进行网格调参，GridSearchCV 应该从哪个子模块中导入？

   👉 点击查看参考答案

   参考答案： 应该从 sklearn.model_selection 子模块中导入（即 from sklearn.model_selection import GridSearchCV）。

2. 编程练习：编写代码从 sklearn 导入混淆矩阵计算函数并打印其函数名。

   👉 点击查看参考答案

   参考答案：

   from sklearn.metrics import confusion_matrix
   print(confusion_matrix.__name__)

本章小结

• 建立了 scikit-learn 核心子模块的全局知识地图；
• 掌握了预处理、算法模型、模型选择与评估指标模块的标准分工；
• 具备了在实际项目中规范、优雅导入各功能组件的工程素养。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《机器学习基本流程(1)：数据集构建与 train_test_split 严谨划分》！

—— 小象教研组