数据规整(1) -- 数据合并concat

Pandas 数据规整精讲(1)：轴向堆叠与数据集拼接 pd.concat 核心参数全解

小象实战讲义 · Python数据分析实战

在真实的数据分析与数仓 ETL 流水线中，数据往往分散在按天、按月拆分的多个日志文件或按部门导出的报表中。如何将结构相似的多个小表格沿着行方向纵向追加合并为一个全量大表？或者将包含不同特征的多个表格沿着列方向横向拼合？Pandas 提供的 pd.concat() 是实现多数据集**轴向堆叠拼接（Concatenation）**的核心利器。本节我们将深入剖析 pd.concat() 的运行机制、内外连接模式以及分层键（keys）构建。

💡 核心导读

• pd.concat() 的核心定位：通用的多对象轴向拼接函数，支持任意数量的 Series 或 DataFrame。
• 核心控制参数清单：
  • axis=0（默认）：纵向按行堆叠（追加数据记录）；
  • axis=1：横向按列拼合（扩展特征维度）；
  • ignore_index=True：重置并生成连续的全新整数索引；
  • join='outer'（默认并集）与 join='inner'（交集列对齐）；
  • keys=['Q1', 'Q2']：为拼接的数据源创建 MultiIndex 标识。

1. 纵向行追加与 ignore_index 索引重置

纵向拼接最常用于合并时间序列分片数据：

┌─────────────────────────────────────────────────────────────┐
│                 pd.concat(axis=0) 纵向堆叠模型              │
├─────────────────────────────────────────────────────────────┤
│   DataFrame 1 (1月订单)          DataFrame 2 (2月订单)      │
│   ┌──────────┬──────────┐        ┌──────────┬──────────┐    │
│   │ order_id │ amount   │        │ order_id │ amount   │    │
│   ├──────────┼──────────┤        ├──────────┼──────────┤    │
│   │ ORD_01   │ 100      │        │ ORD_03   │ 300      │    │
│   └──────────┴──────────┘        └──────────┴──────────┘    │
│                ║                              ║             │
│                ▼                              ▼             │
│   合并后全量表 (行追加, ignore_index=True 重新从 0 编号)    │
│   [ ORD_01: 100, ORD_02: 200, ORD_03: 300, ORD_04: 400 ]   │
└─────────────────────────────────────────────────────────────┘

import pandas as pd

# 1. 模拟 1 月与 2 月的销售订单表
df_jan = pd.DataFrame({
    "order_id": ["ORD_01", "ORD_02"],
    "amount": [1200, 2500],
    "region": ["华北", "华东"]
})

df_feb = pd.DataFrame({
    "order_id": ["ORD_03", "ORD_04"],
    "amount": [1800, 3100],
    "region": ["华南", "华东"]
})

print("=== 1. 待合并的月度分片表 ===")
print("1 月表:\n", df_jan)
print("2 月表:\n", df_feb)

# 2. 纵向追加合并 (axis=0, ignore_index=True)
df_all_months = pd.concat([df_jan, df_feb], axis=0, ignore_index=True)
print("\n=== 2. 纵向合并后的全量订单表 ===")
print(df_all_months)

# 3. 使用 keys 参数标记数据来源 (生成 MultiIndex)
df_keyed = pd.concat([df_jan, df_feb], keys=["1月", "2月"])
print("\n=== 3. 带有批次来源标签的 MultiIndex 合并表 ===")
print(df_keyed)

2. 横向列拼合与 join 连接模式控制

当 axis=1 时按行索引横向对齐拼接，通过 join='inner' 可以仅保留两表共有的行。

# 创建用户信息表与用户活跃指标表 (部分用户重合)
df_user_info = pd.DataFrame({
    "name": ["张三", "李四", "王五"],
    "city": ["北京", "上海", "广州"]
}, index=["U01", "U02", "U03"])

df_user_stats = pd.DataFrame({
    "login_days": [25, 18, 30],
    "pay_amount": [500, 1200, 800]
}, index=["U02", "U03", "U04"])

# 1. 横向外连接拼合 (join='outer', 缺失项为 NaN)
df_horizontal_outer = pd.concat([df_user_info, df_user_stats], axis=1, join="outer")
print("=== 4. 横向列拼接 (axis=1, 外连接) ===")
print(df_horizontal_outer)

# 2. 横向内连接拼合 (join='inner', 仅保留共有索引 U02, U03)
df_horizontal_inner = pd.concat([df_user_info, df_user_stats], axis=1, join="inner")
print("\n=== 5. 横向列拼接 (axis=1, 内连接) ===")
print(df_horizontal_inner)

📝 动手练一练

1. 概念思考题：在对多个包含不同列的 DataFrame 执行 pd.concat(axis=0) 时，默认情况下那些仅在某一张表中存在的列在合并后会如何处理？

   👉 点击查看参考答案

   参考答案： 默认情况下 join='outer'（求列的并集），对于仅在某一张表中存在的列，合并后该列会被完整保留下来，而在其他未包含该列的表所对应的行中会自动填充为 NaN。

2. 编程练习：给定三个相同结构的季度表 [q1, q2, q3]，请编写代码一句话将它们垂直合并为一个 DataFrame 并重置连续索引。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   q1 = pd.DataFrame({'a': [1, 2]})
   q2 = pd.DataFrame({'a': [3, 4]})
   q3 = pd.DataFrame({'a': [5, 6]})
   full_df = pd.concat([q1, q2, q3], ignore_index=True)
   print(full_df)

本章小结

• 掌握了 pd.concat 在纵向追加（axis=0）与横向拼接（axis=1）中的核心区别；
• 理解了 ignore_index=True 重置索引与 keys 追踪数据来源的实战技巧；
• 熟练运用 join='inner' 与 join='outer' 控制列对齐策略。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《数据规整(2)：关系型数据库风格的数据连接 pd.merge》！

—— 小象教研组