量化策略生命周期：数据分析的五大流程

量化策略生命周期：数据分析的五大流程

小象量化极客小册 · 华尔街量化分析先锋系列

欢迎来到华尔街量化分析先锋：从咖啡销量到量化策略的第1章。作为一名在小象咖啡馆摸爬滚打的数据侦探，你即将迈出转型量化交易员的关键一步。本节我们将部署量化计算沙盒，并理解基础的数据分析科学模型。

小象量化极客小册 · 华尔街量化分析先锋系列 欢迎来到华尔街量化分析先锋：从咖啡销量到量化策略的第1章。作为一名在小象咖啡馆摸爬滚打的数据侦探，你即将迈出转型量化交易员的关键一步。本节我们将部署量化计算沙盒，并理解基础的数据分析科学模型。

💡 核心导读

本节将系统介绍数据分析的标准流程，从数据获取到最终报告生成的全生命周期。通过完整的Python代码演示，您将掌握：数据采集与清洗的核心方法、探索性分析（EDA）的典型技术、建模分析的关键步骤，以及如何通过可视化呈现分析结果。重点学习Pandas数据透视、Matplotlib/seaborn可视化，以及scikit-learn的快速建模技巧。

数据分析标准流程

1. 数据采集与输入

import pandas as pd
from sklearn.datasets import fetch_california_housing

data = fetch_california_housing(as_frame=True)
df = data.frame

print(f"数据维度: {df.shape}")
print("\n前3行数据示例:")
print(df.head(3).to_markdown())  # 以Markdown表格形式输出

输出示例（ASCII表格格式）：

|    |   MedInc |   HouseAge |   AveRooms |   AveBedrms |   Population |   AveOccup |   Latitude |   Longitude |   MedHouseVal |
|---:|---------:|-----------:|-----------:|------------:|-------------:|-----------:|-----------:|------------:|--------------:|
|  0 |    8.325 |         41 |       6.98 |        1.02 |          322 |       2.56 |     37.88 |      -122.23 |         4.526 |
|  1 |    8.301 |         21 |       6.24 |        0.97 |         2401 |       2.11 |     37.86 |      -122.22 |         3.585 |
|  2 |    7.257 |         52 |       8.29 |        1.07 |          496 |       2.80 |     37.85 |      -122.24 |         3.521 |

2. 数据清洗与预处理

df_clean = df.copy()
df_clean['AveRooms'] = df_clean['AveRooms'].clip(upper=20)  # 截断极端值

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df_clean[['MedInc', 'HouseAge']] = scaler.fit_transform(df_clean[['MedInc', 'HouseAge']])

print("\n清洗后统计摘要:")
print(df_clean.describe().loc[['mean', 'std']].to_markdown())

3. 探索性分析（EDA）

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(12,6))
sns.heatmap(df_clean.corr(), annot=True, cmap='coolwarm')
plt.title('特征相关性矩阵')
plt.show()

df_clean.boxplot(column=['MedInc', 'AveRooms'], vert=False)
plt.title('关键特征分布')
plt.show()

4. 建模与分析

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

X = df_clean.drop('MedHouseVal', axis=1)
y = df_clean['MedHouseVal']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

model = LinearRegression()
model.fit(X_train, y_train)

print(f"\n模型R2分数: {model.score(X_test, y_test):.3f}")
print("特征重要性:")
for name, coef in zip(X.columns, model.coef_):
    print(f"- {name}: {coef:.4f}")

5. 结果可视化

plt.scatter(y_test, model.predict(X_test), alpha=0.5)
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'r--')
plt.xlabel('真实值')
plt.ylabel('预测值')
plt.title('预测结果对比')
plt.show()

💡 概念小测：数据清洗与未来函数

在量化回测的五大流程中，为什么必须在“特征工程”和“建模分析”之前，先进行“数据清洗”？

• 数据清洗只是为了好看，不影响最终量化模型的收益率预测。
• 历史行情数据常含有因停牌导致的缺失值或拆股导致的异常值，直接训练会使模型产生严重的偏差或报错。
• 数据清洗可以自动预测未来的股票价格，无需再进行机器学习建模。
• 数据清洗是为了将所有的连续型数值全部转化为离散的类别标签。

💡 代码填空：剔除缺失值

在处理小象咖啡股票的收盘价序列时，我们需要将包含 NaN（缺失值）的行进行剔除。请补齐缺失的方法名：

import pandas as pd
import numpy as np

df = pd.DataFrame({'close': [100.5, np.nan, 102.3]})
clean_df = df.{blank}()
print(clean_df)

• fillna
• dropna
• drop_duplicates

📝 选择题

💡 概念小测：数据清洗与未来函数 在量化回测的五大流程中，为什么必须在“特征工程”和“建模分析”之前，先进行“数据清洗”？

• A. 数据清洗只是为了好看，不影响最终量化模型的收益率预测。
• B. 历史行情数据常含有因停牌导致的缺失值或拆股导致的异常值，直接训练会使模型产生严重的偏差或报错。
• C. 数据清洗可以自动预测未来的股票价格，无需再进行机器学习建模。
• D. 数据清洗是为了将所有的连续型数值全部转化为离散的类别标签。

答案：B（历史行情数据常含有因停牌导致的缺失值或拆股导致的异常值，直接训练会使模型产生严重的偏差或报错。）

✏️ 填空题

💡 代码填空：剔除缺失值 在处理小象咖啡股票的收盘价序列时，我们需要将包含 NaN（缺失值）的行进行剔除。请补齐缺失的方法名：

import pandas as pd
import numpy as np
df = pd.DataFrame({'close': [100.5, np.nan, 102.3]})
# 剔除含有缺失值的行
clean_df = df.___()
print(clean_df)

答案：dropna

本章小结

通过本节的实践，我们完成了从原始数据到建模分析的完整流程。以下是需要重点掌握的技能点：

行动清单

• 使用Pandas完成数据加载与清洗，尝试对AveBedrms字段进行缺失值填充
• 用Seaborn绘制至少3种不同类型的图表（如pairplot、violinplot等）
• 修改建模代码，尝试用随机森林(RandomForestRegressor)替代线性回归并比较结果

「小象量化教研组」