Scrapy实战(4)：防反爬中间件配置

Scrapy实战(4)：防反爬中间件配置

小象量化极客小册 · 华尔街量化分析先锋系列

本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

小象量化极客小册 · 华尔街量化分析先锋系列 本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将深入Scrapy框架的核心组件与高级功能，重点掌握Item Pipeline的定制开发、中间件机制的原理与实现，以及分布式爬虫的部署方案。通过实践数据清洗管道、自定义下载中间件等案例，你将学会处理反爬策略、实现数据持久化存储，并了解如何通过Scrapy-Redis构建分布式爬虫系统。

数据管道（Item Pipeline）开发

管道工作原理

Scrapy的Item Pipeline是数据处理流水线，按settings.py中定义的优先级顺序执行。典型处理阶段包括：

1. 数据清洗/验证
2. 去重处理
3. 数据存储

import pymysql

class MySQLPipeline:
    def __init__(self):
        self.conn = pymysql.connect(
            host='localhost',
            user='scrapy',
            password='pass123',
            db='scrapy_db',
            charset='utf8mb4'
        )
        self.cursor = self.conn.cursor()

    def process_item(self, item, spider):
        sql = """INSERT INTO articles 
                (title, url, content) 
                VALUES (%s, %s, %s)"""
        self.cursor.execute(sql, (
            item['title'],
            item['url'],
            item['content']
        ))
        self.conn.commit()
        return item

    def close_spider(self, spider):
        self.conn.close()

管道激活配置

ITEM_PIPELINES = {
    'myproject.pipelines.DuplicatesPipeline': 100,  # 优先级数值越小越先执行
    'myproject.pipelines.MySQLPipeline': 300,
}

💡 概念小测：中间件生命周期

在 Scrapy 下载器中间件（Downloader Middleware）中，如果我们在 process_request 方法中设置了 request.meta['proxy']，它会在哪个阶段起作用？

• 当爬虫开始解析网页文本时，由 xpath 解析器读取。
• 当 Request 离开 Engine 进入 Downloader，由下载器建立 TCP/HTTP 连接时作为代理服务。
• 当 Item Pipeline 将成交记录保存入 SQLite 数据库时作为中间安全层。
• 在 Spider 初始生成 start_urls 列表时对其进行过滤。

📝 选择题

💡 概念小测：中间件生命周期 在 Scrapy 下载器中间件（Downloader Middleware）中，如果我们在 process_request 方法中设置了 request.meta['proxy']，它会在哪个阶段起作用？

• A. 当爬虫开始解析网页文本时，由 xpath 解析器读取。
• B. 当 Request 离开 Engine 进入 Downloader，由下载器建立 TCP/HTTP 连接时作为代理服务。
• C. 当 Item Pipeline 将成交记录保存入 SQLite 数据库时作为中间安全层。
• D. 在 Spider 初始生成 start_urls 列表时对其进行过滤。

答案：B（当 Request 离开 Engine 进入 Downloader，由下载器建立 TCP/HTTP 连接时作为代理服务。）

中间件开发实战

下载中间件示例

实现随机User-Agent和代理IP轮询：

import random
from scrapy import signals

class RandomUserAgentMiddleware:
    def __init__(self, pe_rationts):
        self.pe_rationts = pe_rationts

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings.getlist('USER_AGENTS'))

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.pe_rationts)

USER_AGENTS = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)',
    'Opera/9.80 (X11; Linux i686)'
]
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RandomUserAgentMiddleware': 400,
}

分布式爬虫部署

Scrapy-Redis配置

+---------------+       +---------------+
| 单机爬虫      |       | Redis Server  |
| +-----------+ |       | +-----------+ |
| | Scheduler | |  ==>  | | 共享队列   | |
| +-----------+ |       | +-----------+ |
|               |       |       ^       |
+---------------+       +-------|-------+
                                v
                    +-------------------------+
                    | 多个爬虫节点 (Worker)   |
                    +-------------------------+

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://:password@192.168.1.100:6379'

```bash
scrapy crawl myspider -s REDIS_URL=redis://:password@master_ip:6379

💡 代码填空：配置代理IP

补全下载器中间件中，为当前请求设置代理服务器地址的代码：

class QuickProxyMiddleware:
    def process_request(self, request, spider):
        # 设置网络代理地址
        request.{blank}['proxy'] = "http://127.0.0.1:8080"

• headers
• meta
• data

✏️ 填空题

💡 代码填空：配置代理IP 补全下载器中间件中，为当前请求设置代理服务器地址的代码：

class QuickProxyMiddleware:
    def process_request(self, request, spider):
        # 设置网络代理地址
        request.___['proxy'] = "http://127.0.0.1:8080"

答案：meta

本章小结

行动清单

• 实现一个数据清洗管道，对采集的文本内容进行HTML标签过滤和空白字符清理
• 开发自定义下载中间件，集成代理IP池服务实现自动切换
• 使用Scrapy-Redis部署两个爬虫Worker节点，观察Redis中的任务队列变化

「小象量化教研组」