数据清洗--处理缺失数据

Pandas 数据清洗实战(1)：缺失数据识别、丢弃 dropna 与多策略智能填充 fillna

小象实战讲义 · Python数据分析实战

在真实世界的业务数据集中，由于网络传输丢包、用户未填选填项、传感器异常或系统对接缺陷，数据缺失（Missing Data）是极其普遍的常态。如果不经处理直接输入统计模型或绘图，会导致计算偏差甚至程序崩溃。Pandas 提供了完整而强大的缺失值处理工具链：包括缺失值检测探针（isna / notna）、脏行丢弃过滤器（dropna）以及多策略智能填充器（fillna）。本节我们将深入剖析缺失数据的识别与处理最佳实践。

💡 核心导读

• 缺失值表示法：浮点型 np.nan 与 Python 原生 None 在 Pandas 中统一被视为空值。
• 缺失值检测探针：df.isna().sum() 快速统计各字段缺失数量与缺失率。
• 缺失值丢弃策略（dropna）：
  • axis=0（按行丢弃）与 axis=1（按列丢弃）；
  • how='any'（只要有缺失就丢弃）与 how='all'（全为缺失才丢弃）；
  • thresh=k（保留至少有 k 个非空值的记录）。
• 多策略智能填充（fillna）：标量填充、均值/中位数统计填充、前向填充 ffill 与后向填充 bfill。

1. 缺失值检测与条件丢弃 dropna

通过 isna() 与 dropna() 可以快速摸底并清洗含有空值的脏行：

┌─────────────────────────────────────────────────────────────┐
│                 dropna() 过滤控制机制                       │
├─────────────────────────────────────────────────────────────┤
│ how='any'  : 任一单元格为 NaN ──► 整行被丢弃                │
│ how='all'  : 所有单元格全为 NaN ──► 整行被丢弃              │
│ thresh=3   : 非空值数量 < 3 ──► 整行被丢弃 (容忍部分缺失)   │
└─────────────────────────────────────────────────────────────┘

import pandas as pd
import numpy as np

# 创建包含多种缺失情况的用户画像数据集
df_users = pd.DataFrame({
    "user_id": ["U01", "U02", "U03", "U04", "U05", "U06"],
    "age": [25, np.nan, 32, 45, np.nan, 28],
    "income": [8000, 12000, np.nan, 25000, np.nan, 9500],
    "city": ["北京", "上海", "广州", np.nan, np.nan, "深圳"]
})

print("=== 1. 原始脏数据概貌 ===")
print(df_users)

# 1. 统计各列缺失值数量
print("\n=== 2. 各字段缺失数量统计 ===")
print(df_users.isna().sum())

# 2. 丢弃策略：how='any' vs how='all'
print("\n• 丢弃任何含空值的行 (how='any'):\n", df_users.dropna(how="any"))
print("\n• 仅丢弃全为空值的行 (how='all'):\n", df_users.dropna(how="all", subset=["age", "income", "city"]))

# 3. 阈值丢弃：保留至少有 3 个非空字段的优质行
print("\n• 阈值保留 (thresh=3):\n", df_users.dropna(thresh=3))

2. 多策略智能填充 fillna 实战

对于不能随意丢弃的样本，采用均值、中位数或时间序列前后向填充是更优的数据修复方案。

df_filled = df_users.copy()

# 1. 数值型列：使用该列的均值或中位数进行填充
mean_age = df_filled["age"].mean()
median_income = df_filled["income"].median()
df_filled["age"] = df_filled["age"].fillna(mean_age)
df_filled["income"] = df_filled["income"].fillna(median_income)

# 2. 类别型列：使用常数 "未知" 填充
df_filled["city"] = df_filled["city"].fillna("未知城市")

print("=== 3. 统计值与常数填充后的纯净数据 ===")
print(df_filled)

# 3. 时间序列插值填充：前向填充 ffill 与后向填充 bfill
ts_series = pd.Series([10.0, np.nan, np.nan, 25.0, np.nan])
print("\n=== 4. 时间序列前向填充 (ffill) ===")
print("原始:", ts_series.tolist())
print("前向填充:", ts_series.fillna(method="ffill").tolist())

📝 动手练一练

1. 业务思考题：在对用户年龄字段进行缺失值填充时，为什么有时候推荐使用“中位数（Median）”而不是“均值（Mean）”？

   👉 点击查看参考答案

   参考答案： 当数据集中存在极端异常值（例如某些录入错误将年龄写成 150 岁，或某些富豪收入过高产生极端右偏分布）时，均值会被极端值严重拉偏，而中位数具有极强的鲁棒性（抗干扰能力），更能代表普遍大众的集中趋势。

2. 编程练习：给定 DataFrame，请使用字典形式将列 'A' 的缺失值填充为 0，列 'B' 的缺失值填充为 'Missing'。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   import numpy as np
   df = pd.DataFrame({'A': [1, np.nan, 3], 'B': ['x', np.nan, 'z']})
   df_clean = df.fillna({'A': 0, 'B': 'Missing'})
   print(df_clean)

本章小结

• 掌握了使用 isna() 与 sum() 快速度量评估缺失严重程度的方法；
• 深入理解了 dropna 在 how、axis 与 thresh 维度上的过滤策略；
• 熟练运用均值、中位数、常数以及 ffill 对缺失数据进行高质量填补。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Pandas 数据清洗：处理重复数据 duplicated 与 drop_duplicates》！

—— 小象教研组