实战：小象咖啡店营业数据与热门个股时间序列清洗分析

实战：小象咖啡店营业数据与热门个股时间序列清洗分析

小象量化极客小册 · 华尔街量化分析先锋系列

Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

小象量化极客小册 · 华尔街量化分析先锋系列 Pandas 是量化交易员最核心的武器。本节你将通过 Series 和 DataFrame 深度处理时间序列行情数据，掌握 loc/iloc 定位筛选、缺失值与重复值清洗、以及最大回撤与年化波动率等核心指标统计计算。

💡 核心导读

本节将带领读者使用 Pandas 对全球量化持仓数据进行实战分析。通过本小节的学习，您将掌握：如何加载和清洗真实世界中的复杂数据集、使用分组聚合进行多维度分析、可视化量化持仓营养指标分布，以及构建基础的数据透视表。核心技能包括：缺失值处理技巧、groupby高级用法、pd.cut分箱操作，以及 Seaborn 可视化集成。

数据集准备与清洗

数据加载与初探

我们使用 Open Food Facts 数据集，包含来自全球的量化持仓营养信息：

import pandas as pd
import numpy as np

url = "https://static.openfoodfacts.org/data/en.openfoodfacts.org.products.csv"
food_df = pd.read_csv(url, sep='\t', low_memory=False)  # 注意实际数据中的制表符分隔

print(f"数据集形状：{food_df.shape}")
print("字段示例：")
print(food_df.iloc[:, :5].columns.tolist())  # 显示前5列字段名

关键字段清洗

清洗核心分析字段并处理缺失值：

cols = [
    'product_name', 'countries_en', 'energy_100g', 
    'fat_100g', 'carbohydrates_100g', 'sugars_100g',
    'proteins_100g', 'salt_100g', 'nutriscore_grade'
]
food_df = food_df[cols].copy()

food_df['nutriscore_grade'] = food_df['nutriscore_grade'].fillna('Unknown')
food_df = food_df.dropna(subset=['energy_100g', 'fat_100g'])

food_df['countries_en'] = food_df['countries_en'].str.split(',').str[0]

清洗前后数据结构对比：

[原始数据]
行数：20000+ | 列数：150+ | 缺失值：>60%

[清洗后]
行数：15862 | 列数：9 | 关键字段完整率：100%

💡 概念小测：多重过滤

在本次实战中，我们对个股历史行情表进行异常值清洗。我们需要筛选出“股价低于 5 元但交易量排在全市场前 10%”的超常个股。以下哪种 Pandas 代码写法是最高效且正确的？

• 使用嵌套 For 循环，逐行 if 过滤。
• 使用布尔索引：df[(df['close'] < 5) & (df['volume'] > df['volume'].quantile(0.9))]。
• 使用布尔索引：df[(df['close'] < 5) | (df['volume'] > 0.9)]。
• 运行 df.query('close < 5 or volume > 0.9')

📝 选择题

💡 概念小测：多重过滤 在本次实战中，我们对个股历史行情表进行异常值清洗。我们需要筛选出“股价低于 5 元但交易量排在全市场前 10%”的超常个股。以下哪种 Pandas 代码写法是最高效且正确的？

• A. 使用嵌套 For 循环，逐行 if 过滤。
• B. 使用布尔索引：df[(df['close'] < 5) & (df['volume'] > df['volume'].quantile(0.9))]。
• C. 使用布尔索引：df[(df['close'] < 5) | (df['volume'] > 0.9)]。
• D. 运行 df.query('close < 5 or volume > 0.9')

答案：B（使用布尔索引：df[(df['close'] < 5) & (df['volume'] > df['volume'].quantile(0.9))]。）

营养指标分析实战

国家维度营养对比

使用分组聚合计算各国量化持仓平均营养值：

country_stats = (
    food_df.groupby('countries_en')
    .agg({
        'energy_100g': 'mean',
        'fat_100g': ['mean', 'median'],
        'sugars_100g': lambda x: np.percentile(x.dropna(), 75)
    })
    .sort_values(('energy_100g', 'mean'), ascending=False)
    .head(10)
)

print(country_stats.round(1))

终端输出示例：

               energy_100g fat_100g       sugars_100g
                  mean     mean median         <lambda>
countries_en                                         
USA             2204.5     25.3   23.1            15.8
Germany         2156.2     23.8   22.4            14.2
France          2087.6     21.5   20.1            12.9

风险等级分箱分析

使用pd.cut进行累计收益分箱：

bins = [0, 800, 1500, 2500, np.inf]
labels = ['低累计收益', '中累计收益', '高累计收益', '超高累计收益']
food_df['energy_level'] = pd.cut(food_df['energy_100g'], bins=bins, labels=labels)

energy_grade = pd.crosstab(
    food_df['energy_level'],
    food_df['nutriscore_grade'],
    normalize='index'
).style.background_gradient(cmap='Blues')
display(energy_grade)

可视化实战

营养指标分布矩阵

使用 Seaborn 绘制核心指标关系：

import seaborn as sns
import matplotlib.pyplot as plt

sns.set(style="ticks", font_scale=0.8)
g = sns.pairplot(
    food_df.sample(1000)[['fat_100g', 'sugars_100g', 'proteins_100g', 'nutriscore_grade']],
    hue='nutriscore_grade',
    palette="Set2",
    height=2,
    corner=True
)
g.fig.suptitle("营养指标分布矩阵（按NutriScore分级）", y=1.02)
plt.show()

国家营养雷达图

展示前5国的营养指标对比：

from math import pi

radar_df = country_stats.head(5).copy()
categories = radar_df.columns.get_level_values(0).unique()

radar_df = (radar_df - radar_df.min()) / (radar_df.max() - radar_df.min())

fig = plt.figure(figsize=(8, 8))
ax = fig.add_subplot(111, polar=True)
for idx, country in enumerate(radar_df.index):
    values = radar_df.loc[country].values.flatten().tolist()
    values += values[:1]  # 闭合图形
    ax.plot(np.linspace(0, 2*pi, len(values)), values, label=country)

ax.set_xticks(np.linspace(0, 2*pi, len(categories)))
ax.set_xticklabels(categories)
plt.legend()
plt.title("五国核心营养指标对比（标准化）")
plt.show()

💡 代码填空：实战读取大型行情

补全代码，在加载特大型 A 股行情 CSV 时，防止出现 low_memory 混合类型警告，并强制设置以提升稳定性：

import pandas as pd

df = pd.read_csv('giant_market.csv', {blank}=False)
print(df.info())

• low_memory_warning
• low_memory
• chunks

✏️ 填空题

💡 代码填空：实战读取大型行情 补全代码，在加载特大型 A 股行情 CSV 时，防止出现 low_memory 混合类型警告，并强制设置以提升稳定性：

import pandas as pd
# 读取大型 K 线表并关闭低内存警告
df = pd.read_csv('giant_market.csv', ___=False)
print(df.info())

答案：low_memory

本章小结

通过本实战练习，我们完成了从原始数据加载到多维分析的完整流程。关键操作包括：

1. 使用low_memory=False处理大型CSV文件
2. 通过groupby+agg实现多维度聚合
3. 利用pd.cut进行智能分箱
4. 结合Seaborn实现高级可视化

行动清单

• 尝试修改pd.cut的分箱边界，观察累计收益分级对NutriScore分布的影响
• 使用pivot_table重构国家营养数据，比较与groupby结果的差异
• 为雷达图添加新的营养指标（如最大回撤或夏普比率），重新分析国家特征

「小象量化教研组」