📑 查看全课大纲(第 61 / 101 节)
- 1.数据分析基本概念
- 2.学习数据分析的一般路线
- 3.数据分析的流程
- 4.数据类型
- 5.环境部署(1)
- 6.环境部署(2)
- 7.课程介绍
- 8.TXT文件操作
- 9.JSON文件操作
- 10.CSV文件操作
- 11.Excel文件操作
- 12.数据库及SQL常用语法
- 13.数据库基本操作
- 14.数据库多表连接
- 15.实战:欧洲职业足球数据库分析
- 16.爬虫简介
- 17.URL管理模块
- 18.网页下载模块
- 19.网页解析模块(1)
- 20.网页解析模块(2)
- 21.Scrapy简介
- 22.Scrapy使用步骤(1)
- 23.Scrapy使用步骤(2)
- 24.Scrapy使用步骤(3)
- 25.Scrapy使用步骤(4)
- 26.实战:获取国内城市空气质量指数数据
- 27.NumPy和SciPy介绍
- 28.多维数组
- 29.多维数组操作
- 30.NumPy的常用方法
- 31.向量化介绍
- 32.向量化及通用函数
- 33.实战:2016美国大选分析
- 34.数据结构-Series
- 35.数据结构-DataFrame
- 36.数据结构-Index
- 37.Series的索引操作
- 38.DataFrame的索引操作
- 39.索引操作总结
- 40.运算与对齐
- 41.函数应用操作(1) -- map
- 42.函数应用操作 (2) -- apply applymap
- 43.文件读写操作
- 44.排序操作
- 45.数据清洗--处理缺失数据
- 46.数据清洗--处理重复数据
- 47.数据清洗--替换数据
- 48.常用统计方法(1) -- describe quantile
- 49.常用统计方法(2) -- sum mean median count
- 50.常用统计方法(3) -- max min idxmax idxmin
- 51.常用统计方法(4) -- mad var std cumsum
- 52.实战:全球食品数据分析
- 53.层级索引
- 54.分组与聚合介绍
- 55.分组操作(1) -- GroupBy对象及常用聚合操作
- 56.分组操作(2) -- 自定义分组及聚合操作
- 57.透视表介绍
- 58.透视表操作
- 59.数据规整(1) -- 数据合并concat
- 60.数据规整(2) -- 数据连接merge
- 61.数据重构(3) -- 数据重构stack unstack
- 62.实战:互联网电影资料库分析
- 63.探索性数据分析EDA介绍
- 64.EDA的目的
- 65.EDA常用工具
- 66.Matplotlib绘图基本介绍
- 67.Matplotlib画布
- 68.散点图和柱状图的绘制
- 69.直方图的绘制
- 70.矩阵绘图
- 71.子图的使用
- 72.Matplotlib颜色、标记、线型
- 73.Matplotlib坐标刻度、标签、图例、标题
- 74.Seaborn介绍
- 75.数据集分布可视化(1) -- 单变量分布、双变量分布
- 76.数据集分布可视化(2) -- 变量关系可视化
- 77.类别数据可视化 -- 类别散布图、类别内数据分布、类别内统计图
- 78.交互式数据可视化工具Bokeh介绍
- 79.Bokeh绘制散点图、柱状图、盒子图、弦图
- 80.Bokeh绘制常用图形元素
- 81.D绘图 -- mplot3d
- 82.D曲线可视化
- 83.D散点图可视化
- 84.D柱状图可视化
- 85.Pandas绘图
- 86.实战:Lending Club借贷数据探索性分析及可视化
- 87.机器学习介绍及应用场景
- 88.机器学习建模介绍 (1) -- 分类
- 89.机器学习建模介绍 (2) -- 回归
- 90.机器学习建模介绍 (3) -- 聚类
- 91.机器学习分类
- 92.机器学习工具scikit-learn
- 93.使用scikit-learn的流程
- 94.数据集准备及划分
- 95.模型选择
- 96.数据预处理及特征工程
- 97.过拟合与欠拟合
- 98.模型调参介绍
- 99.模型调参方法
- 100.模型测试及评价
- 101.实战:通过移动设备行为数据预测性别和年龄
数据重构(3) -- 数据重构stack unstack
约 10 分钟
📺 正在播放小象官方高清录播(支持倍速与清晰度调节)
Pandas 数据规整精讲(3):宽表与长表自由变形 stack 与 unstack 旋转重构全解
小象实战讲义 · Python数据分析实战
在数据采集、数仓建模与统计绘图之间,数据格式的形态需求往往截然相反:用于统计建模和图表可视化的工具(如 Seaborn、Tableau)通常要求符合“整洁数据(Tidy Data)”原则的一维长表(Long Format);而用于业务汇报和人工审阅的报表则更青睐结构紧凑的二维宽表(Wide Format)。Pandas 提供了 stack()(堆叠旋转:宽表转长表) 与 unstack()(展开旋转:长表转宽表) 这一对极其精妙的轴向重构工具。本节我们将深入学习数据的自由形变与维度重塑技术。
💡 核心导读
stack()(堆叠):将 DataFrame 的列标签(Columns)旋转下沉为内层行索引(Index),使表格从“宽”变“长”。unstack()(展开):将 MultiIndex 的行索引(Index)旋转提升为外层列标签(Columns),使表格从“长”变“宽”。- 层级精确控制
level参数:指定需要旋转的具体层级名称或位置(默认最内层level=-1)。 melt()与pivot()的现代互补生态。
1. stack 与 unstack 旋转变换物理模型
stack 与 unstack 是一对互为逆运算的可逆变换操作:
┌─────────────────────────────────────────────────────────────┐
│ stack vs unstack 轴向旋转变换 │
├─────────────────────────────────────────────────────────────┤
│ 宽表 (Wide Format): │
│ 城市 2023_GDP 2024_GDP │
│ 北京 43760 47000 │
│ ║ ▲ │
│ stack() ║ 旋转下沉 旋转提升 ║ unstack() │
│ ▼ ║ │
│ 长表 (Long Format / MultiIndex Series): │
│ 城市 年份 GDP │
│ 北京 2023_GDP 43760 │
│ 北京 2024_GDP 47000 │
└─────────────────────────────────────────────────────────────┘import pandas as pd
import numpy as np
# 1. 创建典型的多年度财务指标宽表
df_wide = pd.DataFrame({
"2022年": [120, 85, 210],
"2023年": [140, 95, 230],
"2024年": [165, 110, 260]
}, index=["产品A", "产品B", "产品C"])
print("=== 1. 原始宽表数据 (Wide Format) ===")
print(df_wide)
# 2. 执行 stack():将列名旋转下沉为行索引 (宽表变长表)
s_long = df_wide.stack()
print("\n=== 2. stack() 旋转为 MultiIndex 长表 Series ===")
print(s_long)
print("转换后结构类型:", type(s_long))
# 3. 执行 unstack():将行索引重新旋转提升为列名 (逆向恢复宽表)
df_restored = s_long.unstack()
print("\n=== 3. unstack() 逆向还原为宽表 ===")
print(df_restored)2. 多层级 MultiIndex 的指定层级旋转与 melt 实战
通过 level 参数可以灵活选择旋转外层还是内层标签;同时 melt() 提供了不用设置 Index 直接融化宽表的能力。
# 1. 对具有双层列索引的 DataFrame 进行指定 level 的 stack
cols_multi = pd.MultiIndex.from_tuples([("上半年", "收入"), ("上半年", "利润"), ("下半年", "收入"), ("下半年", "利润")])
df_multi_col = pd.DataFrame([[100, 20, 120, 25], [80, 15, 90, 18]], index=["分店1", "分店2"], columns=cols_multi)
print("=== 4. 双层列索引宽表 ===")
print(df_multi_col)
# 仅将第一层列(时间半年度)stack 下沉
df_stacked_l0 = df_multi_col.stack(level=0)
print("\n=== 5. 仅对 level=0 (半年度) 执行 stack ===")
print(df_stacked_l0)
# 2. pd.melt() 宽表融化为标准长表 (整洁数据 Tidy Data)
df_raw = pd.DataFrame({"city": ["北京", "上海"], "Q1": [100, 200], "Q2": [120, 220]})
df_melted = pd.melt(df_raw, id_vars=["city"], value_vars=["Q1", "Q2"], var_name="quarter", value_name="sales")
print("\n=== 6. pd.melt() 宽表融化为长表 ===")
print(df_melted)📝 动手练一练
概念思考题:当对包含缺失值的数据集执行 unstack() 时,如果某些行列交叉点原本没有数据,unstack() 会如何处理?如何指定默认填充值?
👉 点击查看参考答案
参考答案:
unstack()默认会将原本不存在交叉数据的单元格填充为NaN;- 可以通过参数
fill_value=0(或指定常数)来直接填充这些空白单元格,避免生成额外的 NaN。
编程练习:给定长表 Series
s = pd.Series([1, 2, 3, 4], index=pd.MultiIndex.from_tuples([('A', 'x'), ('A', 'y'), ('B', 'x'), ('B', 'y')])),请使用unstack()将其转换为以 A/B 为行、x/y 为列的宽表 DataFrame。👉 点击查看参考答案
参考答案:
import pandas as pd idx = pd.MultiIndex.from_tuples([('A', 'x'), ('A', 'y'), ('B', 'x'), ('B', 'y')]) s = pd.Series([1, 2, 3, 4], index=idx) df_wide = s.unstack() print(df_wide)
本章小结
- 深刻理解了宽表(Wide)与长表(Long)在商业报表与数据分析中的不同定位;
- 熟练掌握了
stack()与unstack()轴向可逆旋转的核心操作; - 掌握了利用
level参数精细控制多层级索引旋转与pd.melt()快速数据融化的方法。
📋 行动清单
- 在本地执行示例代码,观察控制台输出并记录关键指标。
- 做好准备,进入第 6 章压轴综合大实战——《实战:互联网电影资料库多维深度分析》!
—— 小象教研组
配套学习资源与课件
- 本节课件:数据重构(3) -- 数据重构stack unstack(PDF · 297KB)下载
- 全套课件打包(第1-5章)(ZIP · 12.8MB)下载
- 全套课件打包(第6-8章)(ZIP · 15MB)下载
- 实战数据集:AppleStore 应用商城分析(ZIP · 329KB)下载
- 实战数据集:女性服装电商分析(ZIP · 2.8MB)下载
- Python 数据分析环境搭建指南(PDF · 2MB)下载
- Scrapy 安装教程(PDF · 12.7MB)下载
- 附加实战项目:AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)下载
- 附加实战项目:银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)下载
- 附加实战项目:女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)下载
- 附加实战项目:美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)下载
🎁 免费学习资源
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问