模型测试及评价

机器学习模型综合评估体系：混淆矩阵、精确率 Precision、召回率 Recall、F1-Score 与 ROC-AUC 全解

小象实战讲义 · Python数据分析实战

在很多初学者的认知中，评估一个分类模型好坏只需要看“准确率（Accuracy）”。然而在真实的工业级业务中，单纯追求准确率常常会导致极其灾难性的后果：例如在罕见疾病诊断或信贷反欺诈场景中，负样本（正常人/正常交易）占了 99.9%，哪怕模型把所有样本都盲目预测为正常，准确率也能高达 99.9%，但它却漏掉了 100% 的真实患者或欺诈交易！为了全方位、无死角地度量模型在不同业务代价下的真实表现，我们必须建立起基于 混淆矩阵（Confusion Matrix） 的高阶评估指标体系。本节我们将全面拆解 Precision、Recall、F1-Score、PR 曲线以及 ROC-AUC 指标。

💡 核心导读

• 混淆矩阵四大基础构件：
  • TP（True Positive）：真正例（预测为真，实际为真）；
  • FP（False Positive）：假正例（预测为真，实际为假，即误报 Type I Error）；
  • TN（True Negative）：真负例（预测为假，实际为假）；
  • FN（False Negative）：假负例（预测为假，实际为真，即漏报 Type II Error）。
• 三大核心分类指标公式：
  • 精确率（Precision / 查准率）：$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$（预测为正的样本中有多少是真的）；
  • 召回率（Recall / 查全率）：$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$（所有真实正样本中被抓出了多少）；
  • F1 分数（调和平均数）：$F_1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$。
• ROC 曲线与 AUC 面积：衡量分类器在不同阈值下的综合排序分辨力。

1. 混淆矩阵与核心指标推导矩阵

混淆矩阵与三大指标的计算拓扑关系如下：

┌─────────────────────────────────────────────────────────────┐
│                 混淆矩阵 (Confusion Matrix) 拓扑            │
├──────────────────────────────┬──────────────────────────────┤
│                              │        真实实际标签          │
│                              ├──────────────┬───────────────┤
│                              │ 真实为正 (1) │ 真实为负 (0)  │
├──────────────┬───────────────┼──────────────┼───────────────┤
│ 预测标签     │ 预测为正 (1)  │ TP (真正例)  │ FP (误报/假正)│ ──► Precision = TP / (TP+FP)
│              ├───────────────┼──────────────┼───────────────┤
│              │ 预测为负 (0)  │ FN (漏报/假负)│ TN (真负例)  │
└──────────────┴───────────────┴──────────────┴───────────────┘
                                       │
                                       ▼
                             Recall = TP / (TP+FN)

import numpy as np
import pandas as pd
from sklearn.metrics import confusion_matrix, classification_report, roc_auc_score

# 1. 模拟风控反欺诈场景真实标签与模型预测
# 真实标签: 1 代表高风险违规, 0 代表正常用户 (极其不均衡)
y_true = np.array([0, 0, 0, 0, 0, 0, 0, 0, 1, 1])
# 模型预测类别
y_pred = np.array([0, 0, 0, 0, 0, 1, 0, 0, 1, 0])
# 模型预测为正类的概率值
y_prob = np.array([0.1, 0.2, 0.15, 0.05, 0.3, 0.7, 0.2, 0.1, 0.85, 0.4])

# 2. 计算混淆矩阵
cm = confusion_matrix(y_true, y_pred)
print("=== 1. 混淆矩阵 (Confusion Matrix) ===")
print(pd.DataFrame(cm, index=["实际正常(0)", "实际违规(1)"], columns=["预测正常(0)", "预测违规(1)"]))

# 3. 输出完整的分类性能评估报告 (Classification Report)
print("\n=== 2. 全面分类性能报告 (Precision, Recall, F1) ===")
print(classification_report(y_true, y_pred, target_names=["正常用户", "违规用户"]))

2. ROC-AUC 综合判别能力评估

ROC 曲线以假正率（FPR）为横轴、真正率（TPR）为纵轴；AUC 面积越接近 1.0，说明模型区分度越强。

# 4. 计算 ROC-AUC 分数 (基于概率预测值 y_prob)
auc_val = roc_auc_score(y_true, y_prob)
print("=== 3. ROC-AUC 综合判别能力得分 ===")
print(f"ROC-AUC 得分: {auc_val:.4f} (基准随机猜测为 0.5，完美模型为 1.0)")

📝 动手练一练

1. 业务权衡思考题：在“癌症早期筛查诊断”与“垃圾短信拦截”这两个场景中，我们应该分别优先追求更高的“召回率（Recall）”还是“精确率（Precision）”？为什么？

   👉 点击查看参考答案

   参考答案：

   • 癌症筛查：必须极度优先追求高召回率（Recall）！哪怕误报多复查几次，也绝对不能漏掉一个癌症患者（漏诊代价极其沉重）；
   • 垃圾短信拦截：必须优先保证高精确率（Precision）！宁可漏掉几条垃圾短信，也绝对不能把用户关键的验证码、商务紧急通知误判为垃圾短信直接拦截丢弃。

2. 编程练习：给定 y_true = [1, 0, 1, 1] 与 y_pred = [1, 1, 1, 0]，使用 sklearn 计算其精确率 precision_score 与召回率 recall_score。

   👉 点击查看参考答案

   参考答案：

   from sklearn.metrics import precision_score, recall_score
   y_t = [1, 0, 1, 1]
   y_p = [1, 1, 1, 0]
   print("Precision:", precision_score(y_t, y_p))
   print("Recall:", recall_score(y_t, y_p))

本章小结

• 深刻理解了不均衡数据下 Accuracy 指标的失真陷阱；
• 深入掌握了混淆矩阵、Precision、Recall 与 F1-Score 的计算与业务取舍；
• 学会了使用 ROC-AUC 指标衡量分类器在全阈值下的综合排序与判别能力。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入第 8 章压轴综合大实战——《实战：移动设备用户行为智能预测分类》！

—— 小象教研组