分组操作(2) -- 自定义分组及聚合操作

Pandas 分组高阶实战(2)：组内广播 transform、组过滤 filter 与自定义 apply 算法

小象实战讲义 · Python数据分析实战

很多初学者误以为 GroupBy 只能做“将多行折叠为一行”的汇总聚合（Aggregation）。但在实际的高阶数据挖掘与特征工程中，我们经常遇到完全不同的业务场景：例如“计算每个员工的薪资与所在部门平均薪资的差值（要求返回行数与原表完全一致）”、“只保留平均消费额大于 1000 元的高价值客户组的所有订单记录”。为了实现这些复杂逻辑，Pandas 提供了 transform()（组内变换与广播）、filter()（整组条件过滤） 以及 apply()（全功能组级运算）。本节我们将深入剖析这三大高阶分组利器。

💡 核心导读

• transform() 核心特性：对每个组执行计算后，将结果自动广播回原表的每一行（输出形状与原表完全一致）。
• filter() 核心特性：根据整个组的统计条件（如组内样本数、组均值）决定是否整组保留或整组丢弃。
• 分组 apply()：最灵活的分组通用计算引擎，支持返回标量、Series 或任意子 DataFrame。
• 典型应用：组内去中心化（组内标准化）、组内排名、组内 Top-N 提取。

1. 组内广播 transform：保持行数不变的特征衍生

transform() 的核心在于其输出的长度与输入完全对齐：

┌─────────────────────────────────────────────────────────────┐
│                 transform() 组内计算与广播模型              │
├─────────────────────────────────────────────────────────────┤
│ 原始数据 (部门, 薪资)        部门均值 (聚合)  transform 广播后│
│ 技术部, 10000 ────────┐                       12000         │
│ 技术部, 14000 ────────┴──► 技术部均值: 12000 ─► 12000       │
│ 市场部,  8000 ────────┐                       10000         │
│ 市场部, 12000 ────────┴──► 市场部均值: 10000 ─► 10000       │
└─────────────────────────────────────────────────────────────┘

import pandas as pd

# 创建部门员工薪酬表
df_staff = pd.DataFrame({
    "dept": ["技术部", "技术部", "技术部", "市场部", "市场部", "财务部"],
    "name": ["张伟", "李强", "王芳", "赵丽", "孙刚", "刘洋"],
    "salary": [15000, 22000, 18000, 12000, 16000, 14000]
})

print("=== 1. 原始员工表 ===")
print(df_staff)

# 1. 使用 transform 计算所在部门的平均薪资 (自动广播到每行)
df_staff["dept_avg_salary"] = df_staff.groupby("dept")["salary"].transform("mean")

# 2. 计算员工薪酬相对于部门平均值的离差 (高于部门均值多少)
df_staff["diff_from_dept_avg"] = df_staff["salary"] - df_staff["dept_avg_salary"]

print("\n=== 2. transform 衍生部门均值与组内离差 ===")
print(df_staff)

2. 组过滤 filter 与自定义 apply 提取组内 Top-N

filter() 根据整组条件过滤行，apply() 支持在组内进行排序并提取 Top-N 记录。

# 1. 组过滤 filter：仅保留部门总人数 >= 3 的部门全量员工记录
df_large_dept = df_staff.groupby("dept").filter(lambda g: len(g) >= 3)
print("=== 3. 过滤出人数 >= 3 的大部门记录 (filter) ===")
print(df_large_dept[["dept", "name", "salary"]])

# 2. 分组 apply：提取每个部门薪资最高的前 1 名员工 (组内 Top-1)
def get_top_earner(group_df):
    return group_df.sort_values(by="salary", ascending=False).head(1)

top_earners = df_staff.groupby("dept", group_keys=False).apply(get_top_earner)
print("\n=== 4. 各部门薪资第一名员工 (apply 组内 Top-1) ===")
print(top_earners[["dept", "name", "salary"]])

📝 动手练一练

1. 概念思考题：在对分组数据进行计算时，agg() 与 transform() 的根本区别是什么？

   👉 点击查看参考答案

   参考答案：

   • agg()：聚合操作，每个分组只返回单一标量结果，输出行数等于分组数量（数据被折叠压缩）；
   • transform()：变换操作，对组内每个元素计算后广播回原始行，输出行数严格等于原始 DataFrame 的行数。

2. 编程练习：给定学生成绩表，请使用 transform() 对每个班级（'class'）内部的数学成绩进行标准差归一化（即 (x - mean) / std）。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   df = pd.DataFrame({'class': ['A', 'A', 'B', 'B'], 'score': [80, 90, 70, 85]})
   df['z_score'] = df.groupby('class')['score'].transform(lambda s: (s - s.mean()) / s.std())
   print(df)

本章小结

• 深入掌握了 transform() 在组内广播与特征工程中的关键应用；
• 熟练运用 filter() 按照组级汇总条件批量筛选样本；
• 掌握了使用分组 apply() 编写任意复杂业务算法（如组内 Top-N）的方法。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《数据透视表(1)：透视表 Pivot Table 核心架构与原理》！

—— 小象教研组