常用统计方法(1) -- describe quantile

Pandas 统计探索精讲(1)：全维度数据摘要 describe 与分位数 quantile 分析

小象实战讲义 · Python数据分析实战

在拿到任何一份结构化数据集时，进行探索性数据分析（Exploratory Data Analysis，简称 EDA）的第一步就是了解各个特征的集中趋势、离散程度与分位分布形态。Pandas 提供了极其强大的全景统计摘要工具——describe()，能够一键输出计数、均值、标准差、极值以及四分位数；同时配合 quantile()，我们可以自由计算任意概率分位点（如 90% 分位数、99% 分位数），快速识别业务离群值。本节我们将深入剖析两者的算法原理与业务应用。

💡 核心导读

• df.describe() 的全景统计矩阵：
  • 数值型列：自动输出 count、mean、std、min、25%（下四分位数 $Q_1$）、50%（中位数 $Q_2$）、75%（上四分位数 $Q_3$）、max；
  • 类别型/文本列：设置 include=['O'] 统计 unique（唯一值数）、top（高频词）、freq（最高频次）。
• 分位数函数 quantile(q)：计算指定累积概率分位点 $q \in [0, 1]$。
• 四分位距（IQR）与异常值箱线图判定法则：$\text{IQR} = Q_3 - Q_1$。

1. describe() 全景统计摘要与多类型支持

describe() 是快速把握数据集分布骨架的必杀技：

┌─────────────────────────────────────────────────────────────┐
│                 describe() 五数概括法与箱线图               │
├─────────────────────────────────────────────────────────────┤
│ Min ────► Q1 (25%) ────► Q2 (50% 中位数) ────► Q3 (75%) ────► Max│
│             └───────────── IQR 四分位距 ────────────┘       │
└─────────────────────────────────────────────────────────────┘

import pandas as pd
import numpy as np

# 创建某零售门店客户消费数据集
np.random.seed(42)
df_customers = pd.DataFrame({
    "customer_id": [f"C{i:03d}" for i in range(1, 101)],
    "age": np.random.randint(18, 65, size=100),
    "annual_spend": np.random.exponential(scale=3000, size=100) + 500,
    "membership": np.random.choice(["普通", "银卡", "金卡", "白金"], size=100, p=[0.5, 0.3, 0.15, 0.05])
})

print("=== 1. 数据集前 5 行预览 ===")
print(df_customers.head())

# 1. 数值型特征全景统计摘要
print("\n=== 2. 数值型特征 describe() 统计 ===")
print(df_customers[["age", "annual_spend"]].describe().round(2))

# 2. 类别型特征统计摘要 (include=['O'])
print("\n=== 3. 类别型特征 describe(include=['O']) 统计 ===")
print(df_customers[["membership"]].describe())

2. 自定义分位数 quantile 与 IQR 异常值检测

通过 quantile() 可以自定义分位点，并计算四分位距识别潜在的离群大单。

# 1. 自定义计算多阶分位数 (P10, P50, P90, P99)
quantiles = df_customers["annual_spend"].quantile([0.1, 0.5, 0.9, 0.99])
print("=== 4. 消费金额关键分位数 ===")
print(quantiles.round(2))

# 2. 利用 IQR 法则检测消费异常大单
Q1 = df_customers["annual_spend"].quantile(0.25)
Q3 = df_customers["annual_spend"].quantile(0.75)
IQR = Q3 - Q1
upper_bound = Q3 + 1.5 * IQR

outliers = df_customers[df_customers["annual_spend"] > upper_bound]
print(f"\n=== 5. IQR 异常高消费上限: {upper_bound:.2f} 元 ===")
print(f"检测到的离群大客户数量: {len(outliers)} 人")
print(outliers.head(3))

📝 动手练一练

1. 概念思考题：为什么在描述非正态分布（如收入、网页停留时间、商品销量）时，中位数和分位数往往比算术平均值更能反映真实业务现状？

   👉 点击查看参考答案

   参考答案： 算术平均值极易受到极少数极大值（长尾效应/极端富豪）的拉动而虚高；而分位数与中位数基于排序位置，能够忠实呈现 50% 或 90% 大多数样本的实际分布水准，不受极端离群值干扰。

2. 编程练习：给定一组考试成绩 Series，请使用 quantile 一句话计算出前 10% 优秀学生的最低录取门槛分数线（即 90% 分位数）。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   scores = pd.Series([65, 78, 85, 92, 88, 70, 95, 89, 74, 98])
   cutoff = scores.quantile(0.90)
   print(f"前 10% 录取门槛分数线: {cutoff:.1f}")

本章小结

• 掌握了 df.describe() 对数值型与类别型特征的自动化全景探索；
• 深刻理解了分位数 quantile() 的数学定义与计算逻辑；
• 学会了基于 IQR（四分位距）构建经典的业务异常值检测规则。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Pandas 常用统计方法(2)：聚合汇总 sum、mean、median 与 count》！

—— 小象教研组