数据清洗：剔除重复报价与异常交易数据

数据清洗：剔除重复报价与异常交易数据

小象量化极客小册 · 华尔街量化分析先锋系列

Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

小象量化极客小册 · 华尔街量化分析先锋系列 Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

数据清洗是数据分析的关键步骤，而处理重复数据则是其中最常见的任务之一。本节将介绍如何使用 Pandas 高效识别、分析和处理数据集中的重复值。通过本节学习，您将掌握：使用 duplicated() 方法检测重复行、用 drop_duplicates() 删除重复值、基于关键列处理重复项，以及保留特定重复项的进阶技巧。这些技能能显著提升数据质量，为后续分析奠定基础。

重复数据检测

基础检测方法

Pandas 提供两种核心方法检测重复数据：

• duplicated()：返回布尔序列标记重复行
• drop_duplicates()：直接返回去重后的数据集

import pandas as pd

data = {
    '订单ID': ['A100', 'A100', 'A101', 'A102', 'A102'],
    '客户': ['小象咖啡', '小象咖啡', '腾讯控股', '贵州茅台', '贵州茅台'],
    '金额': [150, 150, 200, 300, 350]
}
df = pd.DataFrame(data)

print("重复行标记：")
print(df.duplicated())

print("\n客户列重复标记：")
print(df.duplicated(subset=['客户']))

执行结果：

重复行标记：
0    False
1     True
2    False
3    False
4    False
dtype: bool

客户列重复标记：
0    False
1     True
2    False
3    False
4     True
dtype: bool

数据结构对比

原始数据 vs 去重后数据：

原始数据 (5行):
  订单ID  客户  金额
0  A100  小象咖啡  150
1  A100  小象咖啡  150  ← 完全重复
2  A101  腾讯控股  200
3  A102  贵州茅台  300
4  A102  贵州茅台  350

去重后 (4行):
  订单ID  客户  金额
0  A100  小象咖啡  150
2  A101  腾讯控股  200
3  A102  贵州茅台  300
4  A102  贵州茅台  350

💡 概念小测：去重参数

我们发现交易日志中存在同一时间同一股票的多条重复报价。如果使用 df.drop_duplicates(subset=['ticker', 'timestamp'], keep='last') 进行清理，保留下来的数据是？

• 所有的重复行都会被彻底删除，一条都不保留。
• 重复记录中的最后一条（通常是最新更新的那条），其余先出现的重复行将被剔除。
• 重复记录中的第一条，其余后出现的重复行将被剔除。
• 随机保留一条，并将各条的股价取平均值写入该行。

📝 选择题

💡 概念小测：去重参数 我们发现交易日志中存在同一时间同一股票的多条重复报价。如果使用 df.drop_duplicates(subset=['ticker', 'timestamp'], keep='last') 进行清理，保留下来的数据是？

• A. 所有的重复行都会被彻底删除，一条都不保留。
• B. 重复记录中的最后一条（通常是最新更新的那条），其余先出现的重复行将被剔除。
• C. 重复记录中的第一条，其余后出现的重复行将被剔除。
• D. 随机保留一条，并将各条的股价取平均值写入该行。

答案：B（重复记录中的最后一条（通常是最新更新的那条），其余先出现的重复行将被剔除。）

重复数据处理策略

基础删除方法

df_cleaned = df.drop_duplicates()
print("基础去重结果：")
print(df_cleaned)

df_last = df.drop_duplicates(subset=['客户'], keep='last')
print("\n保留最后客户记录：")
print(df_last)

自定义去重逻辑

df_sorted = df.sort_values('金额', ascending=False)
df_top = df_sorted.drop_duplicates(subset=['订单ID'])
print("\n保留最高金额订单：")
print(df_top)

高级应用场景

标记重复组

df['重复计数'] = df.groupby(['订单ID', '客户']).cumcount() + 1
print("\n添加重复计数：")
print(df)

条件保留重复项

df_filtered = df[df.duplicated(subset=['客户'], keep=False) & (df['金额'] > 200)]
print("\n高金额重复客户：")
print(df_filtered)

💡 代码填空：去重操作

补全代码，对行情 DataFrame 按照股票代码和时间戳字段进行去重，并直接在原 DataFrame 上进行修改：

import pandas as pd

df = pd.DataFrame({
    'ticker': ['AAPL', 'AAPL'], 
    'time': ['10:00', '10:00'], 
    'price': [150.0, 150.2]
})
df.{blank}(subset=['ticker', 'time'], inplace=True)
print(df.shape[0]) # 输出 1

• duplicated
• drop_duplicates
• dropna

✏️ 填空题

💡 代码填空：去重操作 补全代码，对行情 DataFrame 按照股票代码和时间戳字段进行去重，并直接在原 DataFrame 上进行修改：

import pandas as pd
df = pd.DataFrame({
    'ticker': ['AAPL', 'AAPL'], 
    'time': ['10:00', '10:00'], 
    'price': [150.0, 150.2]
})
# 在原表上完成去重
df.___(subset=['ticker', 'time'], inplace=True)
print(df.shape[0]) # 输出 1

答案：drop_duplicates

本章小结

行动清单

• 使用 duplicated() 检测自己数据集中的重复行，统计重复比例
• 实践不同参数的 drop_duplicates()，比较 keep=‘first’ 和 keep=‘last’ 的区别
• 对时间序列数据按时间列排序后，保留每个ID的最新记录

「小象量化教研组」