← 返回《量化交易 Python 入门:从咖啡馆到华尔街》
📑 查看全课大纲(第 40 / 52 节)
  1. 1.量化分析基本概念:从咖啡馆到华尔街
  2. 2.量化交易员学习路线:从零基础到策略开发
  3. 3.量化策略生命周期:数据分析的五大流程
  4. 4.量化数据类型:数值型与类别型数据
  5. 5.量化沙盒搭建(1):Python与Anaconda安装
  6. 6.量化沙盒搭建(2):Jupyter Notebook与库配置
  7. 7.本地多源数据:量化历史回测的基石
  8. 8.TXT数据流操作:处理金融交易日志
  9. 9.JSON数据流操作:解析股票行情API响应
  10. 10.CSV行情文件操作:读取与存储历史K线
  11. 11.Excel报表操作:清洗财报与财务指标
  12. 12.量化数据库:SQL常用查询语法
  13. 13.量化数据库:Python连接与写入
  14. 14.量化多表连接:关联股票信息与行情
  15. 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
  16. 16.量化数据采集:爬虫工作原理与合规
  17. 17.量化爬虫核心:URL管理与去重策略
  18. 18.量化网页下载:防反爬与请求头伪装
  19. 19.网页解析(1):使用XPath定位财经新闻
  20. 20.网页解析(2):使用CSS选择器与ItemLoader
  21. 21.Scrapy框架:构建工业级量化爬虫
  22. 22.Scrapy实战(1):新建项目与数据模型定义
  23. 23.Scrapy实战(2):编写财经爬虫逻辑
  24. 24.Scrapy实战(3):启用数据管道清洗行情
  25. 25.Scrapy实战(4):防反爬中间件配置
  26. 26.实战:构建每日热门个股行情自动采集系统
  27. 27.NumPy与SciPy:加速量化矩阵计算
  28. 28.NumPy数组:构建股票价格矩阵
  29. 29.数组切片:提取特定股票与交易日数据
  30. 30.NumPy常用方法:计算均值与波动率
  31. 31.向量化计算:摆脱缓慢的For循环
  32. 32.通用函数ufunc:计算对数收益率与累计收益
  33. 33.实战:股票组合资产收益率与协方差矩阵计算
  34. 34.Pandas Series:管理单只股票收盘价
  35. 35.Pandas DataFrame:构建多只股票行情面板
  36. 36.Pandas Index:时间序列索引与对齐
  37. 37.Series索引操作:按位置与标签访问行情数据
  38. 38.DataFrame索引操作:loc与iloc定位行情
  39. 39.索引总结:量化多字段筛选与定位
  40. 40.运算与对齐:合并不同交易日的数据
  41. 41.Pandas map:对股票代码与状态做映射
  42. 42.Pandas apply:滚动计算技术指标
  43. 43.文件读写操作:CSV行情数据导入导出
  44. 44.排序操作:按市盈率与收益率对股票排名
  45. 45.数据清洗:填充与剔除停牌股票缺失值
  46. 46.数据清洗:剔除重复报价与异常交易数据
  47. 47.数据清洗:替换异常报价数据
  48. 48.常用统计:量化最大回撤与分位数风险评估
  49. 49.常用统计:sum/mean/median/count聚合指标
  50. 50.极值定位:寻找历史最高价与最低价的发生日
  51. 51.风险与累计收益:计算年化波动率与累计回报
  52. 52.实战:小象咖啡店营业数据与热门个股时间序列清洗分析

运算与对齐:合并不同交易日的数据

运算与对齐:合并不同交易日的数据

小象量化极客小册 · 华尔街量化分析先锋系列

Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据,掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

小象量化极客小册 · 华尔街量化分析先锋系列 Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据,掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

本节将深入讲解 Pandas 中数据运算与对齐的核心机制。通过学习,您将掌握:1) Pandas 自动对齐特性在运算中的应用原理 2) 不同数据结构间的广播规则 3) 缺失值处理技巧。重点包含索引对齐、算术运算、比较运算等实战场景,并通过 DataFrame 与 Series 的混合运算案例演示 Pandas 的智能处理能力。


索引对齐机制

自动对齐原理

Pandas 所有二元运算都基于索引对齐,这是其区别于 NumPy 的核心特性。当两个对象运算时,系统会先检查索引匹配情况:

import pandas as pd

s1 = pd.Series([10, 20, 30], index=['A', 'B', 'C'])
s2 = pd.Series([1, 2, 3], index=['B', 'C', 'D'])

result = s1 + s2
print(result)

输出结果:

A     NaN
B    21.0
C    32.0
D     NaN
dtype: float64

对齐规则

  1. 索引完全匹配时直接运算
  2. 索引部分匹配时,仅对共有索引执行运算
  3. 无匹配索引时返回 NaN

💡 概念小测:加法填充值

两个不同日期的股票仓位 Series(s1 包含 [‘AAPL’, ‘GOOG’],s2 包含 [‘GOOG’, ‘MSFT’])。如果我们直接计算 s1 + s2,结果中 ‘AAPL’ 和 ‘MSFT’ 对应的取值会是什么?

  • 两个股票的值会保留其原始的值,不会有任何改变。
  • 两者都会变成 NaN,因为无法在另一边对齐找到对应值。
  • ‘AAPL’ 为其原始值,而 ‘MSFT’ 报错无法生成。
  • Pandas 会自动把缺失的值假设为 0,然后输出正常的相加数值。

📝 选择题

💡 概念小测:加法填充值 两个不同日期的股票仓位 Series(s1 包含 [‘AAPL’, ‘GOOG’],s2 包含 [‘GOOG’, ‘MSFT’])。如果我们直接计算 s1 + s2,结果中 ‘AAPL’ 和 ‘MSFT’ 对应的取值会是什么?

  • A. 两个股票的值会保留其原始的值,不会有任何改变。
  • B. 两者都会变成 NaN,因为无法在另一边对齐找到对应值。
  • C. ‘AAPL’ 为其原始值,而 ‘MSFT’ 报错无法生成。
  • D. Pandas 会自动把缺失的值假设为 0,然后输出正常的相加数值。

答案:B(两者都会变成 NaN,因为无法在另一边对齐找到对应值。)


算术运算实战

DataFrame 广播运算

Pandas 支持维度自动扩展(广播):

df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
series = pd.Series([10, 20], index=['A', 'B'])

df_add = df + series  
print("列广播结果:\n", df_add)

df_add_row = df.add(series, axis=0)
print("行广播结果:\n", df_add_row)

数据结构变化:

原始DataFrame:
   A  B
0 1  3
1 2  4

列广播后:
   A   B
0 11  23
1 12  24

缺失值处理

使用运算方法替代运算符可控制缺失值行为:

df1 = pd.DataFrame({'X': [1, None], 'Y': [3, 4]})
df2 = pd.DataFrame({'X': [5, 6], 'Y': [None, 8]})

print("加法结果:\n", df1 + df2)

print("填充后加法:\n", df1.add(df2, fill_value=0))


比较运算与逻辑操作

元素级比较

生成布尔型 DataFrame/Series:

df = pd.DataFrame({'Temp': [18.5, 22.1, 19.8], 
                   'Humidity': [45, 62, 58]},
                  index=['Mon', 'Tue', 'Wed'])

high_temp = df['Temp'] > 20
print("高温日:\n", high_temp)

condition = (df['Temp'] > 18) & (df['Humidity'] < 60)
print("舒适日:\n", df[condition])

💡 代码填空:指定填充值相加

补全代码,使用 add 方法把两只股票的价格 Series 相加,如果单边日期缺失则用价格 0 代替参与计算:

import pandas as pd

s1 = pd.Series({'AAPL': 150.0})
s2 = pd.Series({'AAPL': 5.0, 'MSFT': 300.0})
combined = s1.{blank}(s2, fill_value=0)
print(combined['MSFT']) # 输出 300.0
  • sum
  • add
  • plus

✏️ 填空题

💡 代码填空:指定填充值相加 补全代码,使用 add 方法把两只股票的价格 Series 相加,如果单边日期缺失则用价格 0 代替参与计算:

import pandas as pd
s1 = pd.Series({'AAPL': 150.0})
s2 = pd.Series({'AAPL': 5.0, 'MSFT': 300.0})
# 使用 add 指定 fill_value
combined = s1.___(s2, fill_value=0)
print(combined['MSFT']) # 输出 300.0

答案:add


本章小结

行动清单

  • 创建两个索引部分重叠的 Series,实践加减乘除运算并观察结果对齐方式
  • 用 DataFrame 与 Series 进行行列两个维度的广播运算,比较 axis 参数的不同效果
  • 对包含缺失值的数据集先填充再运算,对比直接运算的结果差异

「小象量化教研组」

🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

  • 完整 Python / 数据分析 Jupyter 实战源码
  • 大厂真实业务数据集与练习题
  • 微信扫码添加课程顾问,免费获取网盘下载链接
微信二维码:扫码添加课程顾问微信扫码添加顾问