分组与聚合介绍

Pandas 分组计算核心哲学：Split-Apply-Combine 拆分-应用-合并范式全解

小象实战讲义 · Python数据分析实战

在商业智能与数据报表处理中，“按部门汇总薪酬总额”、“按城市统计平均气温”、“按用户类型计算留存率”是最典型的分析需求。这些操作在 SQL 中对应经典的 GROUP BY 语法，而在 Pandas 中则抽象为极其著名的数据处理哲学——Split-Apply-Combine（拆分-应用-合并）范式。理解这个三步流水线对于掌握 GroupBy 分组引擎至关重要。本节我们将深入剖析分组与聚合的设计模式、执行流程与内存生命周期。

💡 核心导读

• Split-Apply-Combine 三步黄金流水线：
  • 1. Split（拆分）：根据一个或多个键（Key），将原始 DataFrame 拆分为多个独立的子数据集；
  • 2. Apply（应用）：对每个拆分出的子数据集独立应用聚合、转换或过滤函数；
  • 3. Combine（合并）：将各个分组的计算结果重新组合为一个结构统一的 DataFrame 或 Series。
• GroupBy 对象（DataFrameGroupBy）的惰性计算特性：调用 groupby() 时不立即计算，只记录分组拓扑。
• 三大类分组计算算子：聚合（Aggregation）、转换（Transformation）与过滤（Filtration）。

1. Split-Apply-Combine 架构与流水线解析

整个分组计算的内部生命周期如下图所示：

┌─────────────────────────────────────────────────────────────┐
│              Split-Apply-Combine 处理流水线                 │
├─────────────────────────────────────────────────────────────┤
│ 原始数据集 (各部门订单)                                     │
│ ┌──────────────┬───────────────┐                             │
│ │ 部门 (Key)   │ 销售额 (Value)│                             │
│ ├──────────────┼───────────────┤                             │
│ │ 技术部       │ 100           │                             │
│ │ 市场部       │ 200           │                             │
│ │ 技术部       │ 300           │                             │
│ └──────────────┴───────────────┘                             │
│                ║                                            │
│                ▼ 1. Split (按部门拆分为两个子集)            │
│ [技术部: 100, 300]            [市场部: 200]                 │
│                ║                                            │
│                ▼ 2. Apply (各子集独立应用 sum() 求和)       │
│ [技术部: 400]                 [市场部: 200]                 │
│                ║                                            │
│                ▼ 3. Combine (合并为最终结果)                │
│ 技术部 ──► 400,  市场部 ──► 200                             │
└─────────────────────────────────────────────────────────────┘

import pandas as pd

# 创建某公司跨部门销售记录表
df_orders = pd.DataFrame({
    "department": ["技术部", "市场部", "技术部", "市场部", "财务部", "市场部"],
    "salesperson": ["张三", "李四", "王五", "赵六", "钱七", "孙八"],
    "sales_amount": [12000, 25000, 18000, 31000, 15000, 19000],
    "region": ["华北", "华东", "华北", "华南", "华北", "华东"]
})

print("=== 1. 原始业务销售明细 ===")
print(df_orders)

# 1. Split：创建 GroupBy 惰性对象
grouped = df_orders.groupby("department")
print("\n=== 2. GroupBy 惰性对象类型 ===")
print(grouped)

# 2. 查看分组内部的字典结构 (每个组包含的行索引列表)
print("\n• 各部门分组行索引映射 (groups):")
for dept, group_indices in grouped.groups.items():
    print(f"  [{dept}] -> 行索引: {list(group_indices)}")

2. 遍历 GroupBy 对象与提取单个组数据

GroupBy 对象是可迭代的，每次迭代返回 (分组键名, 分组子DataFrame) 元组；也可以直接使用 get_group() 提取特定组。

# 1. 迭代遍历各个分组子集
print("=== 3. 遍历 GroupBy 子集 ===")
for dept_name, sub_df in grouped:
    print(f"\n--- 部门: {dept_name} (共 {len(sub_df)} 条记录) ---")
    print(sub_df[["salesperson", "sales_amount", "region"]])

# 2. 精确提取特定分组 (get_group)
market_df = grouped.get_group("市场部")
print("\n=== 4. 单独获取【市场部】子数据集 ===")
print(market_df)

📝 动手练一练

1. 架构思考题：为什么 Pandas 将 groupby() 设计为返回一个惰性对象，而不是在调用 groupby() 的瞬间就立即把所有数据拆分成多个真实的数据表格？

   👉 点击查看参考答案

   参考答案： ① 节约内存与计算开销：如果只是记录分组映射索引，无需复制数据； ② 支持链式算子组合：后续用户可能需要计算 mean()、sum() 或调用自定义 agg()，惰性机制允许 Pandas 针对后续具体的聚合算子做底层优化与向量化融合。

2. 编程练习：给定 DataFrame，请按 'city' 分组，并打印出属于 '北京' 组的所有行记录。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   df = pd.DataFrame({'city': ['北京', '上海', '北京'], 'val': [10, 20, 30]})
   bj_group = df.groupby('city').get_group('北京')
   print(bj_group)

本章小结

• 深刻理解了 Split-Apply-Combine 这一现代数据工程的核心范式；
• 掌握了 GroupBy 惰性对象的概念与 groups 索引映射机制；
• 熟练运用 for 循环遍历分组与 get_group() 精确抽取业务切片。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《分组操作(1)：GroupBy 常用聚合函数与 agg 多重汇总》！

—— 小象教研组