Pandas apply：滚动计算技术指标

Pandas apply：滚动计算技术指标

小象量化极客小册 · 华尔街量化分析先锋系列

Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

小象量化极客小册 · 华尔街量化分析先锋系列 Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

本节将深入讲解 Pandas 中两个核心函数应用方法：apply() 和 applymap()。通过学习，您将掌握如何对 DataFrame 的行列进行批量操作（apply），以及如何对每个元素进行标量处理（applymap）。重点包括：理解轴方向的应用逻辑、性能优化技巧，以及在实际数据清洗/特征工程中的应用场景。我们将通过销售数据分析的完整案例，演示如何用这两种方法实现数据标准化、异常值处理和特征生成。

apply() 方法详解

基本概念与轴向操作

apply() 是 Pandas 最强大的函数应用方法，可沿特定轴（0=列，1=行）应用函数：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    '销售额': [120, 150, 200, 90],
    '成本': [80, 100, 130, 70]
}, index=['Q1', 'Q2', 'Q3', 'Q4'])

print(df.apply(np.mean, axis=0))

print(df.apply(lambda x: x.sum(), axis=1))

复杂函数应用

可封装自定义函数处理整行/列数据：

def profit_margin(row):
    return (row['销售额'] - row['成本']) / row['销售额'] * 100

df['利润率'] = df.apply(profit_margin, axis=1)
print(df)

执行前后数据结构对比：

   销售额   成本
Q1   120   80
Q2   150  100
Q3   200  130
Q4    90   70

   销售额   成本        利润率
Q1   120   80  33.333333
Q2   150  100  33.333333
Q3   200  130  35.000000
Q4    90   70  22.222222

💡 概念小测：apply 的性能

在处理 1000 万行的股票行情 DataFrame 时，如果在每一行上使用 .apply(lambda x: custom_func(x), axis=1) 逐行计算指标，为什么这通常是量化代码的严重性能瓶颈？

• 因为 Pandas 不支持在 1000 万行数据上运行 apply。
• axis=1 的 apply 实际上是在 Python 层面逐行循环，相当于没有利用任何 Pandas/NumPy 底层的 C 加速。
• 因为 lambda 匿名函数会在内存中产生严重的泄露。
• apply 无法获取各列数据，只能获得行索引。

📝 选择题

💡 概念小测：apply 的性能 在处理 1000 万行的股票行情 DataFrame 时，如果在每一行上使用 .apply(lambda x: custom_func(x), axis=1) 逐行计算指标，为什么这通常是量化代码的严重性能瓶颈？

• A. 因为 Pandas 不支持在 1000 万行数据上运行 apply。
• B. axis=1 的 apply 实际上是在 Python 层面逐行循环，相当于没有利用任何 Pandas/NumPy 底层的 C 加速。
• C. 因为 lambda 匿名函数会在内存中产生严重的泄露。
• D. apply 无法获取各列数据，只能获得行索引。

答案：B（axis=1 的 apply 实际上是在 Python 层面逐行循环，相当于没有利用任何 Pandas/NumPy 底层的 C 加速。）

applymap() 元素级处理

方法特性与适用场景

applymap() 对 DataFrame 每个元素执行标量函数操作：

df = pd.DataFrame({
    'A': [1.12, 2.34, np.nan],
    'B': [4.56, np.nan, 6.78]
})

processed_df = df.applymap(
    lambda x: f"{x:.2f}" if not pd.isna(x) else "NULL"
)
print(processed_df)

性能对比建议

• 优先使用内置向量化方法（如 df * 2）
• 简单逻辑用 applymap，复杂逻辑考虑 apply
• 大数据量时考虑并行化处理

综合应用案例

销售数据清洗实战

sales = pd.DataFrame({
    '产品': ['A', 'B', 'C', 'D'],
    '单价': ['￥120', '150元', '98.5', '200$'],
    '销量': [45, '62', 78, 'N/A']
})

def clean_price(text):
    if isinstance(text, str):
        return float(''.join(filter(str.isdigit, text)))
    return float(text)

def clean_quantity(val):
    if str(val).isdigit():
        return int(val)
    return 0

sales['单价'] = sales['单价'].apply(clean_price)
sales['销量'] = sales['销量'].apply(clean_quantity)
sales['销售额'] = sales.apply(lambda r: r['单价'] * r['销量'], axis=1)

print(sales)

处理结果：

  产品    单价  销量    销售额
0  A  120.0  45  5400.0
1  B  150.0  62  9300.0
2  C   98.5  78  7683.0
3  D  200.0   0     0.0

💡 代码填空：按列计算均值

补全代码，使用 apply 方法按列（即计算 AAPL 和 GOOG 每只股票各自）的平均价格：

import pandas as pd

df = pd.DataFrame({'AAPL': [150, 152], 'GOOG': [2700, 2710]})
col_means = df.{blank}(lambda x: x.mean())
print(col_means['AAPL']) # 输出 151.0

• map
• apply
• applymap

✏️ 填空题

💡 代码填空：按列计算均值 补全代码，使用 apply 方法按列（即计算 AAPL 和 GOOG 每只股票各自）的平均价格：

import pandas as pd
df = pd.DataFrame({'AAPL': [150, 152], 'GOOG': [2700, 2710]})
# apply 默认按列 (axis=0) 计算
col_means = df.___(lambda x: x.mean())
print(col_means['AAPL']) # 输出 151.0

答案：apply

本章小结

行动清单

• 使用 apply() 计算 DataFrame 每行的变异系数（标准差/均值）
• 用 applymap() 实现电话号码脱敏处理（如 13812345678 → 138****5678）
• 在泰坦尼克数据集上，应用 apply 方法创建”家庭成员数”特征（SibSp + Parch）

「小象量化教研组」编著