📑 查看全课大纲(第 49 / 52 节)
- 1.量化分析基本概念:从咖啡馆到华尔街
- 2.量化交易员学习路线:从零基础到策略开发
- 3.量化策略生命周期:数据分析的五大流程
- 4.量化数据类型:数值型与类别型数据
- 5.量化沙盒搭建(1):Python与Anaconda安装
- 6.量化沙盒搭建(2):Jupyter Notebook与库配置
- 7.本地多源数据:量化历史回测的基石
- 8.TXT数据流操作:处理金融交易日志
- 9.JSON数据流操作:解析股票行情API响应
- 10.CSV行情文件操作:读取与存储历史K线
- 11.Excel报表操作:清洗财报与财务指标
- 12.量化数据库:SQL常用查询语法
- 13.量化数据库:Python连接与写入
- 14.量化多表连接:关联股票信息与行情
- 15.实战:小象咖啡店营业数据与个股财务指标的多源数据分析
- 16.量化数据采集:爬虫工作原理与合规
- 17.量化爬虫核心:URL管理与去重策略
- 18.量化网页下载:防反爬与请求头伪装
- 19.网页解析(1):使用XPath定位财经新闻
- 20.网页解析(2):使用CSS选择器与ItemLoader
- 21.Scrapy框架:构建工业级量化爬虫
- 22.Scrapy实战(1):新建项目与数据模型定义
- 23.Scrapy实战(2):编写财经爬虫逻辑
- 24.Scrapy实战(3):启用数据管道清洗行情
- 25.Scrapy实战(4):防反爬中间件配置
- 26.实战:构建每日热门个股行情自动采集系统
- 27.NumPy与SciPy:加速量化矩阵计算
- 28.NumPy数组:构建股票价格矩阵
- 29.数组切片:提取特定股票与交易日数据
- 30.NumPy常用方法:计算均值与波动率
- 31.向量化计算:摆脱缓慢的For循环
- 32.通用函数ufunc:计算对数收益率与累计收益
- 33.实战:股票组合资产收益率与协方差矩阵计算
- 34.Pandas Series:管理单只股票收盘价
- 35.Pandas DataFrame:构建多只股票行情面板
- 36.Pandas Index:时间序列索引与对齐
- 37.Series索引操作:按位置与标签访问行情数据
- 38.DataFrame索引操作:loc与iloc定位行情
- 39.索引总结:量化多字段筛选与定位
- 40.运算与对齐:合并不同交易日的数据
- 41.Pandas map:对股票代码与状态做映射
- 42.Pandas apply:滚动计算技术指标
- 43.文件读写操作:CSV行情数据导入导出
- 44.排序操作:按市盈率与收益率对股票排名
- 45.数据清洗:填充与剔除停牌股票缺失值
- 46.数据清洗:剔除重复报价与异常交易数据
- 47.数据清洗:替换异常报价数据
- 48.常用统计:量化最大回撤与分位数风险评估
- 49.常用统计:sum/mean/median/count聚合指标
- 50.极值定位:寻找历史最高价与最低价的发生日
- 51.风险与累计收益:计算年化波动率与累计回报
- 52.实战:小象咖啡店营业数据与热门个股时间序列清洗分析
常用统计:sum/mean/median/count聚合指标
约 15 分钟
Pandas 常用统计分析:sum、mean、median、count 核心聚合指标
小象量化极客小册 · 华尔街量化分析先锋系列
在量化投资与多因子选股模型中,对资产池各类财务指标、量价数据进行快速统计描述是每日投研的常规工作。无论是计算整个行业板块的总成交金额(sum)、评估全市场市盈率的中心趋势(mean 与 median),还是核查各特征维度的非空有效样本量(count),Pandas 提供的统计聚合方法都能极大提升分析效率。本节我们将深入解析这四大核心聚合指标的计算逻辑与缺失值自适应处理特性。
💡 核心导读
- 四大常用统计指标体系:
sum()求和、mean()均值、median()中位数、count()有效样本计数。 - 缺失值(NaN)的默认跳过机制:理解
skipna=True的工程行为与业务影响。 - 均值(Mean)vs 中位数(Median):抗异常值鲁棒性对比(针对长尾分布与极端离群值)。
- 轴向聚合控制(
axis=0vsaxis=1):跨标的横截面统计与跨周期时序统计的自由切换。
核心概念解析:统计聚合指标与缺失值处理
在 Python 原生环境中进行列表求和时,如果列表中混入 None 或非法值,通常会直接抛出类型错误或传播缺失。而在金融量化分析中,部分标的在某些交易日停牌或缺乏某些财报数据是客观常态。
Pandas 的统计方法在设计之初就考虑了真实业务场景:默认开启 skipna=True 参数,自动跳过缺失值(np.nan)参与计算,保证统计流水线的顺畅执行。
import numpy as np
import pandas as pd
# 构建 5 只核心消费股的日成交数据(金额单位:万元,换手率:%)
# 部分标的因突发停牌存在数据缺失
market_data = {
'turnover_wan': [45000.0, 18000.0, np.nan, 32000.0, 12000.0],
'pe_ratio': [28.5, 22.0, 45.0, np.nan, 15.5],
'turnover_rate': [1.2, 0.8, np.nan, 2.5, 0.6],
'trade_status': ['OPEN', 'OPEN', 'HALT', 'OPEN', 'OPEN'],
}
stocks = ['600519.SH', '000858.SZ', '000568.SZ', '600887.SH', '002304.SZ']
df_market = pd.DataFrame(market_data, index=stocks)
print("=== 原始市场截面数据 ===")
print(df_market)关键操作演练:四大核心统计方法
1. sum():累加总和
sum() 会对数值型列进行累加,自动忽略 NaN。常用于统计板块总成交量、总持仓市值等:
# 计算板块总成交额(自动跳过停牌股的 NaN)
total_turnover = df_market['turnover_wan'].sum()
print(f"板块总成交额: {total_turnover:.2f} 万元")2. mean():算术平均值
mean() 计算有效样本的算术平均。注意:分母仅统计非空样本的数量,不会将 NaN 当作 0 计算。
# 计算有效开盘标的的平均换手率
avg_turnover_rate = df_market['turnover_rate'].mean()
print(f"平均换手率 (有效样本): {avg_turnover_rate:.2f}%")3. median():中位数(50% 分位数)
当市场中存在极端估值(如某只小盘重组股市盈率高达上千倍)时,算术平均值会被严重拉高。此时 median()(中位数)能提供更稳健的中心趋势度量。
# 对比 PE 的算术平均值与中位数
pe_mean = df_market['pe_ratio'].mean()
pe_median = df_market['pe_ratio'].median()
print(f"PE 算术平均值: {pe_mean:.2f}")
print(f"PE 稳健中位数: {pe_median:.2f}")4. count():有效非空样本计数
与 len(df) 返回总行数不同,count() 专门返回每一列中**非空值(Non-Null)**的个数,常用于快速检验特征的覆盖率(Coverage)。
# 统计各指标的有效覆盖数
valid_counts = df_market.count()
print("=== 各字段有效样本计数 ===")
print(valid_counts)进阶技巧:横向(跨列)与纵向(跨行)轴向切换
默认情况下,统计方法沿着 axis=0(垂直纵向,按列聚合,产生对所有股票的汇总)。若指定 axis=1(水平横向),则对单只标的的不同特征进行跨列计算。
# 创建模拟的 3 季度单股扣非净利润数据(单位:亿元)
quarterly_profit = pd.DataFrame(
{
'Q1': [12.5, 8.2, 5.0],
'Q2': [14.0, 9.1, np.nan],
'Q3': [15.8, 8.8, 6.2],
},
index=['标的A', '标的B', '标的C'],
)
print("=== 季度净利润表 ===")
print(quarterly_profit)
# 水平跨列求和 (axis=1):计算每只标的前三季度累计利润
total_by_stock = quarterly_profit.sum(axis=1)
print("\n每只标的前三季度累计净利润 (axis=1):")
print(total_by_stock)互动练习
📝 选择题
对于包含 5 行数据的 DataFrame 单列 s = pd.Series([10.0, 20.0, np.nan, 30.0, np.nan]),执行 s.mean() 和 s.count() 的返回值分别是:
- A. 20.0 和 3
- B. 12.0 和 5
- C. 20.0 和 5
- D. 15.0 和 3
答案:A(
count()仅统计有效非空值个数,为 3 个;mean()自动跳过 NaN,有效样本总和为 10+20+30=60,均值为 60/3=20.0。)
本章小结
- 掌握
sum、mean、median、count四大聚合函数的应用场景与数学定义。 - 深刻理解 Pandas 默认
skipna=True的缺失值跳过机制,避免分母计算偏差。 - 熟练运用
axis=0(纵向跨资产)与axis=1(横向跨周期)进行灵活的多维统计分析。
小象量化教研组
领取《小象 11GB VIP 课件资料包与大厂真题手册》
包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。
- ✔完整 Python / 数据分析 Jupyter 实战源码
- ✔大厂真实业务数据集与练习题
- ✔微信扫码添加课程顾问,免费获取网盘下载链接
微信扫码添加顾问