← 返回《Python 数据分析实战》
📑 查看全课大纲(第 55 / 101 节)
  1. 1.数据分析基本概念
  2. 2.学习数据分析的一般路线
  3. 3.数据分析的流程
  4. 4.数据类型
  5. 5.环境部署(1)
  6. 6.环境部署(2)
  7. 7.课程介绍
  8. 8.TXT文件操作
  9. 9.JSON文件操作
  10. 10.CSV文件操作
  11. 11.Excel文件操作
  12. 12.数据库及SQL常用语法
  13. 13.数据库基本操作
  14. 14.数据库多表连接
  15. 15.实战:欧洲职业足球数据库分析
  16. 16.爬虫简介
  17. 17.URL管理模块
  18. 18.网页下载模块
  19. 19.网页解析模块(1)
  20. 20.网页解析模块(2)
  21. 21.Scrapy简介
  22. 22.Scrapy使用步骤(1)
  23. 23.Scrapy使用步骤(2)
  24. 24.Scrapy使用步骤(3)
  25. 25.Scrapy使用步骤(4)
  26. 26.实战:获取国内城市空气质量指数数据
  27. 27.NumPy和SciPy介绍
  28. 28.多维数组
  29. 29.多维数组操作
  30. 30.NumPy的常用方法
  31. 31.向量化介绍
  32. 32.向量化及通用函数
  33. 33.实战:2016美国大选分析
  34. 34.数据结构-Series
  35. 35.数据结构-DataFrame
  36. 36.数据结构-Index
  37. 37.Series的索引操作
  38. 38.DataFrame的索引操作
  39. 39.索引操作总结
  40. 40.运算与对齐
  41. 41.函数应用操作(1) -- map
  42. 42.函数应用操作 (2) -- apply applymap
  43. 43.文件读写操作
  44. 44.排序操作
  45. 45.数据清洗--处理缺失数据
  46. 46.数据清洗--处理重复数据
  47. 47.数据清洗--替换数据
  48. 48.常用统计方法(1) -- describe quantile
  49. 49.常用统计方法(2) -- sum mean median count
  50. 50.常用统计方法(3) -- max min idxmax idxmin
  51. 51.常用统计方法(4) -- mad var std cumsum
  52. 52.实战:全球食品数据分析
  53. 53.层级索引
  54. 54.分组与聚合介绍
  55. 55.分组操作(1) -- GroupBy对象及常用聚合操作
  56. 56.分组操作(2) -- 自定义分组及聚合操作
  57. 57.透视表介绍
  58. 58.透视表操作
  59. 59.数据规整(1) -- 数据合并concat
  60. 60.数据规整(2) -- 数据连接merge
  61. 61.数据重构(3) -- 数据重构stack unstack
  62. 62.实战:互联网电影资料库分析
  63. 63.探索性数据分析EDA介绍
  64. 64.EDA的目的
  65. 65.EDA常用工具
  66. 66.Matplotlib绘图基本介绍
  67. 67.Matplotlib画布
  68. 68.散点图和柱状图的绘制
  69. 69.直方图的绘制
  70. 70.矩阵绘图
  71. 71.子图的使用
  72. 72.Matplotlib颜色、标记、线型
  73. 73.Matplotlib坐标刻度、标签、图例、标题
  74. 74.Seaborn介绍
  75. 75.数据集分布可视化(1) -- 单变量分布、双变量分布
  76. 76.数据集分布可视化(2) -- 变量关系可视化
  77. 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
  78. 78.交互式数据可视化工具Bokeh介绍
  79. 79.Bokeh绘制散点图、柱状图、盒子图、弦图
  80. 80.Bokeh绘制常用图形元素
  81. 81.D绘图 -- mplot3d
  82. 82.D曲线可视化
  83. 83.D散点图可视化
  84. 84.D柱状图可视化
  85. 85.Pandas绘图
  86. 86.实战:Lending Club借贷数据探索性分析及可视化
  87. 87.机器学习介绍及应用场景
  88. 88.机器学习建模介绍 (1) -- 分类
  89. 89.机器学习建模介绍 (2) -- 回归
  90. 90.机器学习建模介绍 (3) -- 聚类
  91. 91.机器学习分类
  92. 92.机器学习工具scikit-learn
  93. 93.使用scikit-learn的流程
  94. 94.数据集准备及划分
  95. 95.模型选择
  96. 96.数据预处理及特征工程
  97. 97.过拟合与欠拟合
  98. 98.模型调参介绍
  99. 99.模型调参方法
  100. 100.模型测试及评价
  101. 101.实战:通过移动设备行为数据预测性别和年龄

分组操作(1) -- GroupBy对象及常用聚合操作

约 8 分钟

📺 正在播放小象官方高清录播(支持倍速与清晰度调节)

Pandas 分组聚合实战(1):常用聚合指标、多列分组与 agg() 多重汇总精讲

小象实战讲义 · Python数据分析实战

在明确了 Split-Apply-Combine 的处理范式之后,最核心的实战环节就是执行分组聚合计算(Group Aggregation)。聚合操作能够将每个分组的多行记录折叠浓缩为单个标量指标(如各品类的总销售额、平均单价、最高最低区间)。Pandas 不仅支持 sum()mean()std()count() 等一键内置聚合,更提供了极其强大的 agg()(或 aggregate() 接口,支持对不同列分别指定不同的聚合函数,甚至一次性计算多个统计维度。本节我们将系统讲解分组聚合的高阶实战技术。

💡 核心导读

  • 单列与多列聚合df.groupby('dept')['sales'].mean()
  • 多维度联合分组df.groupby(['region', 'dept'])(自动生成 MultiIndex)。
  • agg() 高级多重聚合矩阵
    • 传入函数列表:agg(['sum', 'mean', 'std'])(一列计算多个指标);
    • 传入字典映射:agg({'sales': 'sum', 'profit': 'mean'})(不同列应用不同聚合函数);
    • 重命名聚合列名(使用元组指定新列名)。
  • as_index=False 参数:保留原始扁平列,避免分组键被设为行索引。

1. 基础分组聚合与多键联合分组

联合分组可以按多个层级进行精细化交叉统计:

┌─────────────────────────────────────────────────────────────┐
│                 多键联合分组 (地区 x 部门)                  │
├─────────────────┬─────────────────┬─────────────────────────┤
│ 地区 (Key 1)    │ 部门 (Key 2)    │ 销售总额 (sum)          │
├─────────────────┼─────────────────┼─────────────────────────┤
│ 华北            │ 技术部          │ 30000                   │
│ 华北            │ 财务部          │ 15000                   │
│ 华东            │ 市场部          │ 44000                   │
│ 华南            │ 市场部          │ 31000                   │
└─────────────────┴─────────────────┴─────────────────────────┘
import pandas as pd

# 创建销售交易明细表
df_tx = pd.DataFrame({
    "region": ["华北", "华东", "华北", "华南", "华东", "华北"],
    "category": ["数码", "日用", "日用", "数码", "数码", "日用"],
    "revenue": [5000, 1200, 800, 7500, 6200, 950],
    "quantity": [2, 10, 5, 3, 2, 8]
})

print("=== 1. 原始交易流水 ===")
print(df_tx)

# 1. 单键分组聚合:按商品品类统计平均营收与总销量
print("\n=== 2. 按品类单键聚合 ===")
print(df_tx.groupby("category")[["revenue", "quantity"]].sum())

# 2. 多键联合分组:按 (地区 + 品类) 交叉汇总
print("\n=== 3. 按 (地区 + 品类) 联合分组汇总 ===")
cross_summary = df_tx.groupby(["region", "category"]).sum()
print(cross_summary)

2. agg() 多重聚合与列差异化统计实战

通过 agg() 传入字典,可以对 revenue 求和与均值,同时对 quantity 统计最大值和数量。

# 1. 使用列表对同一列同时计算多种统计量
multi_stats = df_tx.groupby("category")["revenue"].agg(["count", "sum", "mean", "std"])
print("=== 4. 同一列计算多重统计量 (agg) ===")
print(multi_stats.round(2))

# 2. 使用字典为不同列定制差异化聚合函数
custom_agg = df_tx.groupby("category").agg({
    "revenue": ["sum", "mean"],
    "quantity": ["sum", "max"]
})
print("\n=== 5. 字典定制差异化聚合 ===")
print(custom_agg)

# 3. 避免分组键变成 Index (as_index=False)
flat_summary = df_tx.groupby("category", as_index=False)["revenue"].sum()
print("\n=== 6. 保持扁平 DataFrame (as_index=False) ===")
print(flat_summary)

📝 动手练一练

  1. 概念思考题:在执行 df.groupby(‘dept’).mean() 时,如果 DataFrame 中包含非数值列(如员工姓名),Pandas 会如何处理?

    👉 点击查看参考答案

    参考答案: 在新版 Pandas 中,对于无法计算均值的非数值列(字符串/对象),若不显式指定数值列,会抛出警告或错误。推荐的做法是显式选取数值列df.groupby('dept')[['salary', 'age']].mean() 或传入 numeric_only=True

  2. 编程练习:给定订单表,请按 'customer_id' 分组,并使用 agg() 计算每个客户的订单总金额(sum)与总订单次数(count)。

    👉 点击查看参考答案

    参考答案

    import pandas as pd
    df = pd.DataFrame({'customer_id': ['C1', 'C2', 'C1'], 'amount': [100, 200, 150]})
    res = df.groupby('customer_id')['amount'].agg(['sum', 'count'])
    print(res)

本章小结

  • 掌握了单字段与多字段联合 GroupBy 的核心语法;
  • 深刻掌握了 agg() 结合列表与字典实现多维度复杂报表汇总的方法;
  • 掌握了 as_index=False 保持输出为标准扁平表格的工程习惯。

📋 行动清单

  • 在本地执行示例代码,观察控制台输出并记录关键指标。
  • 做好准备,进入下一小节学习《分组操作(2):自定义分组变换 transform 与过滤 filter》!

—— 小象教研组

配套学习资源与课件
  • 本节课件:分组操作(1) -- GroupBy对象及常用聚合操作(PDF · 276KB)
    下载
  • 全套课件打包(第1-5章)(ZIP · 12.8MB)
    下载
  • 全套课件打包(第6-8章)(ZIP · 15MB)
    下载
  • 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)
    下载
  • 实战数据集:女性服装电商分析(ZIP · 2.8MB)
    下载
  • Python 数据分析环境搭建指南(PDF · 2MB)
    下载
  • Scrapy 安装教程(PDF · 12.7MB)
    下载
  • 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)
    下载
  • 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)
    下载
  • 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)
    下载
  • 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)
    下载
🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

  • 完整 Python / 数据分析 Jupyter 实战源码
  • 大厂真实业务数据集与练习题
  • 微信扫码添加课程顾问,免费获取网盘下载链接
微信二维码:扫码添加课程顾问微信扫码添加顾问