数据清洗--处理重复数据

Pandas 数据清洗实战(2)：重复记录检测 duplicated 与去重 drop_duplicates 精讲

小象实战讲义 · Python数据分析实战

在日志采集、爬虫抓取以及跨系统数据汇总时，由于网络重试、并发写入或用户重复提交，数据集中常常混入完全相同或业务主键冲突的重复记录（Duplicate Records）。重复数据不仅会人为虚增统计样本量、歪曲均值与总额，还会对后续建模带来严重的数据倾斜。Pandas 提供了 duplicated() 与 drop_duplicates() 两个核心利器。本节我们将系统讲解全行去重、指定子集去重以及去重保留策略。

💡 核心导读

• 重复值检测函数 df.duplicated()：返回布尔 Series，标记每一行是否为前面已出现过的重复行。
• 核心保留参数 keep 的三大取值：
  • keep='first'（默认）：保留首次出现的记录，后续重复行标记为 True；
  • keep='last'：保留最后一次出现的记录；
  • keep=False：将所有重复出现的记录全部标记为 True（用于排查所有冲突行）。
• 指定子集去重 subset=['col1', 'col2']：基于业务唯一标识（如用户 ID、订单号）去重。

1. 重复记录检测与 keep 策略详解

理解 keep 参数的逻辑对于精准剔除或排查脏数据至关重要：

┌─────────────────────────────────────────────────────────────┐
│                 keep 参数对比机制 (记录: [A, A, B])         │
├──────────────┬──────────────────────────────────────────────┤
│ keep='first' │ 保留第 1 条 A，第 2 条 A 标记为重复 (删除)   │
│ keep='last'  │ 保留第 2 条 A，第 1 条 A 标记为重复 (删除)   │
│ keep=False   │ 2 条 A 全部标记为重复 (全部丢弃/用于审查)    │
└──────────────┴──────────────────────────────────────────────┘

import pandas as pd

# 创建包含重复订单的数据集
df_orders = pd.DataFrame({
    "order_id": ["ORD_01", "ORD_02", "ORD_01", "ORD_03", "ORD_01"],
    "user_id": ["U100", "U200", "U100", "U300", "U100"],
    "amount": [150.0, 320.0, 150.0, 89.0, 180.0],
    "timestamp": ["10:00", "10:05", "10:00", "10:15", "10:30"]
})

print("=== 1. 原始订单表 (含重复项) ===")
print(df_orders)

# 1. 检测全行完全重复的记录 (keep='first')
print("\n=== 2. duplicated() 检测结果 ===")
print(df_orders.duplicated())

# 2. 排查所有出现过重复的脏记录 (keep=False)
conflict_rows = df_orders[df_orders.duplicated(subset=["order_id"], keep=False)]
print("\n=== 3. 筛出所有存在 order_id 冲突的记录 (keep=False) ===")
print(conflict_rows)

2. 多列子集去重 drop_duplicates 实战

通过 drop_duplicates(subset=...) 可以根据业务主键只保留最新的一条有效记录。

# 1. 业务去重：按 order_id 去重，保留最后一次更新的记录 (keep='last')
df_dedup_last = df_orders.drop_duplicates(subset=["order_id"], keep="last")
print("=== 4. 按 order_id 去重并保留最新一条 (keep='last') ===")
print(df_dedup_last)

# 2. 多列组合去重：同时基于 user_id 和 amount 去重
df_dedup_multi = df_orders.drop_duplicates(subset=["user_id", "amount"])
print("\n=== 5. 基于 (user_id + amount) 联合去重 ===")
print(df_dedup_multi)

📝 动手练一练

1. 业务思考题：当你要对用户最近一次修改的个人资料进行清洗入库时，数据集中同一个 user_id 存在多条按时间排序的修改日志，你应该如何配置 drop_duplicates 的参数？

   👉 点击查看参考答案

   参考答案： 应该指定 subset=['user_id'], keep='last'（确保数据已按时间升序排列），这样对于同一个 user_id，系统会自动保留最后一条（即最新的）资料记录，并剔除历史旧记录。

2. 编程练习：给定 DataFrame，请统计数据集中共有多少条完全重复的冗余行，并原地删除这些重复行。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   df = pd.DataFrame({'id': [1, 2, 1, 3], 'val': ['a', 'b', 'a', 'c']})
   dup_count = df.duplicated().sum()
   print(f"重复记录总数: {dup_count}")
   df_clean = df.drop_duplicates().reset_index(drop=True)
   print(df_clean)

本章小结

• 掌握了 duplicated() 在不同 keep 参数下的布尔标记机制；
• 熟练运用 drop_duplicates(subset=...) 实现精准的业务维度去重；
• 学会了使用 keep=False 快速提取所有冲突记录进行数据质量审计。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Pandas 数据清洗：数据替换与正则映射 replace》！

—— 小象教研组