量化分析基本概念：从咖啡馆到华尔街

量化分析基本概念：从咖啡馆到华尔街

小象量化极客小册 · 华尔街量化分析先锋系列

欢迎来到华尔街量化分析先锋：从咖啡销量到量化策略的第1章。作为一名在小象咖啡馆摸爬滚打的数据侦探，你即将迈出转型量化交易员的关键一步。本节我们将部署量化计算沙盒，并理解基础的数据分析科学模型。

小象量化极客小册 · 华尔街量化分析先锋系列 欢迎来到华尔街量化分析先锋：从咖啡销量到量化策略的第1章。作为一名在小象咖啡馆摸爬滚打的数据侦探，你即将迈出转型量化交易员的关键一步。本节我们将部署量化计算沙盒，并理解基础的数据分析科学模型。

💡 核心导读

本节将介绍数据分析的核心概念体系，包括数据分类、分析流程和基础技术栈。通过理解结构化/非结构化数据的区别，掌握数据清洗的典型操作，并实践使用Pandas完成数据探索的完整过程。重点培养数据思维框架和基础工具链的应用能力。

数据分类与特征

结构化数据

以二维表形式存储的规整数据，常见于数据库和CSV文件：

import pandas as pd

data = {
    '股票代码': [101, 102, 103],
    '证券简称': ['小象咖啡', '腾讯控股', '贵州茅台'],
    '行业板块': ['科技板块', '消费板块', '医药板块'],
    '上市年份': [2019, 2020, 2018]
}
df = pd.DataFrame(data)

print("结构化数据示例：")
print(df.to_markdown(index=False))

执行后输出（ASCII表格格式）：

|   股票代码 | 证券简称   | 行业板块   |   上市年份 |
|---------:|:-------|:-------|-----------:|
|      101 | 小象咖啡   | 科技板块 |       2019 |
|      102 | 腾讯控股   | 消费板块 |       2020 |
|      103 | 贵州茅台   | 医药板块 |       2018 |

非结构化数据

包括文本、图像、音频等，需要特殊处理：

text_data = ["2023-07-15 订单号:XYZ123 金额:¥599", "客户反馈:产品体验优秀"]

import re
def clean_text(text):
    # 移除非字母数字字符
    return re.sub(r'[^\w\s]', '', text)

print("\n清洗前:", text_data)
print("清洗后:", [clean_text(t) for t in text_data])

💡 概念小测：量化数据类型

在量化交易的数据预处理中，股票的历史日线价格（Open, High, Low, Close）与财经新闻的文本情感评分分别属于什么类型的数据？

• 两者均属于结构化数据，因为它们都可以被放入数据库中。
• 历史日线价格属于结构化数据，而财经新闻文本属于非结构化数据。
• 历史日线价格属于非结构化数据，而新闻文本情感评分属于结构化数据。
• 两者均属于非结构化数据，需要通过自然语言处理转化为数值。

📝 选择题

💡 概念小测：量化数据类型 在量化交易的数据预处理中，股票的历史日线价格（Open, High, Low, Close）与财经新闻的文本情感评分分别属于什么类型的数据？

• A. 两者均属于结构化数据，因为它们都可以被放入数据库中。
• B. 历史日线价格属于结构化数据，而财经新闻文本属于非结构化数据。
• C. 历史日线价格属于非结构化数据，而新闻文本情感评分属于结构化数据。
• D. 两者均属于非结构化数据，需要通过自然语言处理转化为数值。

答案：B（历史日线价格属于结构化数据，而财经新闻文本属于非结构化数据。）

数据分析流程

标准工作流

1. 数据采集：通过API、爬虫或文件导入
2. 数据清洗：处理缺失值、异常值
3. 特征工程：创建衍生特征
4. 建模分析：应用统计/机器学习方法
5. 结果可视化

import seaborn as sns
stock_ticks = sns.load_dataset('stock_ticks')

clean_data = stock_ticks.dropna(subset=['pe_ratio']).query('price < 400')

clean_data['pe_ratio_group'] = pd.cut(clean_data['pe_ratio'], 
                                bins=[0,18,60,100],
                                labels=['低估值','合理估值','高估值'])

print("\n处理后数据结构：")
print(clean_data[['is_profitable','pe_ratio_group','class']].sample(5).to_markdown())

核心工具链

Python数据分析栈

import sys
print(f"Python版本: {sys.version}\n")

libs = ['numpy', 'pandas', 'matplotlib', 'scipy']
for lib in libs:
    try:
        module = __import__(lib)
        print(f"{lib:>10} 版本: {module.__version__}")
    except ImportError:
        print(f"{lib:>10} 未安装")

数据探索基础

print("\n数据概览方法:")
df = pd.DataFrame({'A': range(1,6), 'B': ['x','y','z','x','y']})
print("1. 前N行数据:\n", df.head(2))
print("2. 数据类型:\n", df.dtypes)
print("3. 描述统计:\n", df.describe())

💡 代码填空：加载数据

请补全下方代码，导入量化核心库 pandas 并加载包含股票行情的数据集：

import {blank} as pd
import numpy as np

data = pd.DataFrame({
    'ticker': ['AAPL', 'GOOG', 'MSFT'],
    'close': [150.5, 2730.2, 310.4]
})
print(data)

• numpy
• pandas
• matplotlib

✏️ 填空题

💡 代码填空：加载数据 请补全下方代码，导入量化核心库 pandas 并加载包含股票行情的数据集：

import ___ as pd
import numpy as np
# 假设 loaded_ticks 是我们从小象咖啡及股票数据源获取的数据
data = pd.DataFrame({
    'ticker': ['AAPL', 'GOOG', 'MSFT'],
    'close': [150.5, 2730.2, 310.4]
})
print(data)

答案：pandas

本章小结

行动清单

• 使用Pandas创建包含5个字段、10条记录的模拟数据集，并输出描述性统计
• 对任意文本文件进行词频统计，生成前10个高频词的条形图
• 在Jupyter中重现泰坦尼克数据集的特征工程过程，添加”是否儿童”字段

「小象量化教研组」编著