Scrapy框架：构建工业级量化爬虫

Scrapy框架：构建工业级量化爬虫

小象量化极客小册 · 华尔街量化分析先锋系列

本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

小象量化极客小册 · 华尔街量化分析先锋系列 本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将带领读者快速掌握Scrapy框架的核心概念与基础用法。通过本章学习，你将能够：1) 理解Scrapy的架构设计和工作原理；2) 完成第一个Scrapy爬虫项目的创建与运行；3) 使用选择器提取结构化数据。重点掌握Spider编写、Item定义以及数据存储流程，为后续实战项目打下基础。

框架概述

Scrapy是一个用Python编写的开源网络爬虫框架，具有以下核心特性：

• 组件化架构：引擎(Engine)、调度器(Scheduler)、下载器(Downloader)等组件各司其职
• 内置选择器：支持XPath和CSS选择器提取数据
• 管道系统：灵活的数据处理流水线(Pipeline)
• 中间件扩展：可自定义下载中间件和蜘蛛中间件

+-------------+       +-------------+       +-------------+
|   Scheduler | <---> |    Engine   | <---> |  Downloader |
+-------------+       +-------------+       +-------------+
                           ^  ^
                           |  |
                     +-----+  +-----+
                     |            |
               +-----------+  +-----------+
               |   Spider  |  |  Pipeline |
               +-----------+  +-----------+

💡 概念小测：Scrapy架构组件

在 Scrapy 异步引擎的工作流程中，哪个核心组件负责接收引擎传来的 URL 并生成网络请求，然后将下载好的 Response 传回引擎？

• Scheduler（调度器）
• Downloader（下载器）
• Item Pipeline（项目管道）
• Spiders（蜘蛛）

📝 选择题

💡 概念小测：Scrapy架构组件 在 Scrapy 异步引擎的工作流程中，哪个核心组件负责接收引擎传来的 URL 并生成网络请求，然后将下载好的 Response 传回引擎？

• A. Scheduler（调度器）
• B. Downloader（下载器）
• C. Item Pipeline（项目管道）
• D. Spiders（蜘蛛）

答案：B（Downloader（下载器））

快速入门

环境安装

pip install scrapy
scrapy version

创建第一个项目

scrapy startproject tutorial
cd tutorial
scrapy genspider example example.com

生成的项目结构如下：

tutorial/
    scrapy.cfg            # 部署配置文件
    tutorial/             # 项目Python模块
        __init__.py
        items.py          # 数据容器定义
        middlewares.py    # 中间件配置
        pipelines.py      # 数据处理管道
        settings.py       # 项目设置
        spiders/          # 爬虫目录
            __init__.py
            example.py    # 示例爬虫

核心组件实战

定义数据模型

import scrapy

class BookItem(scrapy.Item):
    title = scrapy.Field()      # 书名
    price = scrapy.Field()      # 价格
    stock = scrapy.Field()      # 库存状态
    rating = scrapy.Field()     # 评分(1-5)

编写爬虫逻辑

import scrapy
from tutorial.items import BookItem

class BookSpider(scrapy.Spider):
    name = "books"
    start_urls = ['http://books.toscrape.com']
    
    def parse(self, response):
        for book in response.css('article.product_pod'):
            item = BookItem()
            item['title'] = book.css('h3 a::attr(title)').get()
            item['price'] = book.css('p.price_color::text').get()
            yield item

运行爬虫

scrapy crawl books -o books.json

执行后生成的数据示例：

[
  {
    "title": "A Light in the Attic",
    "price": "£51.77"
  },
  {
    "title": "Tipping the Velvet",
    "price": "£53.74"
  }
]

数据处理管道

价格清洗管道

import re

class PriceConverterPipeline:
    def process_item(self, item, spider):
        if 'price' in item:
            price = float(re.sub(r'[^\d.]', '', item['price']))
            item['price'] = round(price * 1.12, 2)  # 英镑转美元汇率
        return item

启用管道配置

ITEM_PIPELINES = {
    'tutorial.pipelines.PriceConverterPipeline': 300,
}

数据处理前后对比：

原始数据: £51.77 → 处理后: 57.98 (美元)
原始数据: £53.74 → 处理后: 60.19 (美元)

💡 代码填空：回调函数指定

补全代码，在 Scrapy 爬虫中发出下一个 Request 请求并指定其解析回调函数：

import scrapy

class QuoteSpider(scrapy.Spider):
    name = 'quotes'
    
    def parse(self, response):
        next_url = "https://example.com/ppe_ratio/2"
        # 发送请求并关联解析方法
        yield scrapy.Request(next_url, {blank}=self.parse_detail)
        
    def parse_detail(self, response):
        pass

• handler
• callback
• meta

✏️ 填空题

💡 代码填空：回调函数指定 补全代码，在 Scrapy 爬虫中发出下一个 Request 请求并指定其解析回调函数：

import scrapy
class QuoteSpider(scrapy.Spider):
    name = 'quotes'
    def parse(self, response):
        next_url = "https://example.com/page/2"
        # 发送请求并关联解析方法
        yield scrapy.Request(next_url, ___=self.parse_detail)
    def parse_detail(self, response):
        pass

答案：callback

本章小结

行动清单

• 使用scrapy startproject创建新项目，并生成一个爬取豆瓣股票持仓Top250的爬虫
• 在Item中定义包含股票持仓名称、评分和评论人数的数据模型
• 通过-o output.csv参数将结果导出为CSV格式，并使用Excel打开验证数据

「小象量化教研组」编著