数据清洗--替换数据

Pandas 数据清洗实战(3)：数据替换 replace、字典批量映射与正则表达式清洗精讲

小象实战讲义 · Python数据分析实战

在数据预处理过程中，我们经常需要对异常值、特殊占位符或脏文本进行批量规范化替换（例如：将问卷中的 "-999" 异常值替换为 NaN、将历史状态码 'unknown' 替换为 '未填写'、或者使用正则表达式去除文本中的特殊符号）。虽然 fillna() 专注于填充缺失值，但对于任意数值或文本的条件替换，Pandas 提供了更加通用的 DataFrame.replace() 方法。本节我们将深入学习单值替换、字典批量替换、列表成对映射以及正则表达式清洗技巧。

💡 核心导读

• df.replace() 的核心定位：全功能数值与文本模式替换引擎。
• 三大常用传参范式：
  • 单值/多值直接替换：df.replace(-999, np.nan)；
  • 字典映射批量替换：df.replace({'gender': {'M': '男', 'F': '女'}})；
  • 列表成对映射：df.replace([old1, old2], [new1, new2])。
• 正则表达式高级模式匹配：开启 regex=True 一键清洗字符串噪声。

1. 数值与异常占位符的批量替换

replace() 支持在不改变数据结构的前提下，原地或返回副本替换指定元素：

┌─────────────────────────────────────────────────────────────┐
│                 replace() 核心替换模式速查                  │
├─────────────────────┬───────────────────────────────────────┤
│ 替换语法            │ 作用效果                              │
├─────────────────────┼───────────────────────────────────────┤
│ df.replace(-999, np.nan) | 将全表所有 -999 替换为 NaN        │
│ df.replace({'A': 0, 'B': -1}, np.nan) | 分列差异化替换      │
│ df.replace(r'\s+', '', regex=True)  | 正则去除所有空白字符  │
└─────────────────────┴───────────────────────────────────────┘

import pandas as pd
import numpy as np

# 创建包含传感器异常值与代码的数据集
df_sensors = pd.DataFrame({
    "device_id": ["DEV_01", "DEV_02", "DEV_03", "DEV_04"],
    "temp": [22.5, -999.0, 25.1, -999.0],       # -999 代表设备离线故障
    "humidity": [-999.0, 65.0, 58.0, 70.0],
    "status": ["OK", "ERR_404", "OK", "WARN_01"]
})

print("=== 1. 原始传感器数据 ===")
print(df_sensors)

# 1. 将所有 -999 异常占位符替换为标准的 np.nan
df_clean_nan = df_sensors.replace(-999.0, np.nan)
print("\n=== 2. 异常值 -999 替换为 NaN ===")
print(df_clean_nan)

# 2. 分列字典差异化替换
replace_rules = {
    "status": {"ERR_404": "网络故障", "WARN_01": "电量不足"}
}
df_custom = df_clean_nan.replace(replace_rules)
print("\n=== 3. 状态码翻译替换 ===")
print(df_custom)

2. 正则表达式高级文本清洗

结合 regex=True，replace() 可以发挥正则表达式的强大威力，批量清除文本中的单位符号与杂质字符。

# 创建包含脏文本金额与面积的数据表
df_text_dirty = pd.DataFrame({
    "item": ["商品A", "商品B", "商品C"],
    "price_str": ["¥ 1,299 元", "¥ 350 元", "¥ 5,800 元"],
    "area_str": ["120 平方米", "85 平方米", "200 平方米"]
})

print("=== 4. 原始带单位与符号的文本数据 ===")
print(df_text_dirty)

# 使用正则表达式一次性去除 '¥', '元', '平方米', 逗号与多余空格
clean_regex_rules = {
    "price_str": {r"[¥元,\s]": ""},
    "area_str": {r"\s*平方米": ""}
}

df_numeric = df_text_dirty.replace(clean_regex_rules, regex=True)

# 转换为纯浮点/整型数值
df_numeric["price_str"] = df_numeric["price_str"].astype(float)
df_numeric["area_str"] = df_numeric["area_str"].astype(int)

print("\n=== 5. 正则清洗并成功转换为数值类型 ===")
print(df_numeric)
print("各列最终数据类型:\n", df_numeric.dtypes)

📝 动手练一练

1. 概念思考题：在对字符串进行替换时，df[‘col’].str.replace() 与 df.replace(regex=True) 有什么区别？

   👉 点击查看参考答案

   参考答案：

   • df['col'].str.replace() 是专属于单个 Series 字符串访问器的方法；
   • df.replace(regex=True) 是通用的 DataFrame 全局方法，可以同时对多列甚至整个表格应用复杂的字典替换规则。

2. 编程练习：给定 DataFrame，请使用 replace() 将所有分数字段中的负数（如 -1, -5）统一替换为 0。

   👉 点击查看参考答案

   参考答案：

   import pandas as pd
   df = pd.DataFrame({'score': [85, -1, 92, -5, 78]})
   df_clean = df.replace([-1, -5], 0)
   print(df_clean)

本章小结

• 掌握了 df.replace() 在异常值剔除与编码转换中的核心用法；
• 学会了使用嵌套字典对多列进行差异化规则替换；
• 熟练运用正则表达式（regex=True）完成复杂文本数据的快速清洗与类型提升。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Pandas 常用统计方法(1)：数据摘要 describe 与分位数 quantile》！

—— 小象教研组