Scrapy实战(1)：新建项目与数据模型定义

Scrapy实战(1)：新建项目与数据模型定义

小象量化极客小册 · 华尔街量化分析先锋系列

本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

小象量化极客小册 · 华尔街量化分析先锋系列 本节我们将探寻如何使用 Scrapy 框架进行网络数据采集。作为量化分析师，你将编写爬虫从财经网站爬取最新的股票行情和社交媒体上的咖啡店舆情，为策略引擎输入第一手另类数据。

💡 核心导读

本节将带领读者掌握Scrapy框架的基础使用流程，从环境配置到第一个爬虫项目的创建与运行。核心技能点包括：Scrapy项目结构解析、Spider组件编写规范、数据提取的两种核心方法（CSS选择器与XPath）。通过一个完整的新闻标题抓取案例，读者将学会如何构建基础爬虫并理解Scrapy的异步处理机制。

环境准备与项目创建

安装Scrapy

使用pip安装最新稳定版Scrapy（需Python 3.6+环境）：

pip install scrapy
scrapy version

创建项目骨架

Scrapy采用工程化方式管理爬虫项目，执行以下命令生成标准目录结构：

scrapy startproject news_crawler
cd news_crawler

生成的项目结构说明：

news_crawler/
├── scrapy.cfg            # 部署配置文件
└── news_crawler/         # Python模块目录
    ├── __init__.py
    ├── items.py          # 数据容器定义
    ├── middlewares.py    # 中间件配置
    ├── pipelines.py      # 数据处理管道
    ├── settings.py       # 项目设置
    └── spiders/          # 爬虫代码目录
        └── __init__.py

💡 概念小测：数据模型定义

在 Scrapy 框架中，我们通过继承 scrapy.Item 并定义 scrapy.Field() 来声明数据结构。这样做的好处是？

• 可以自动识别并转换网页中数据字段的数据类型。
• 提供统一的容器接口（类似于 Python 字典），防止字段拼写错误，方便后续 Pipeline 批量写入数据库。
• 能够直接提高 Scrapy 爬虫项目的网络下载带宽上限。
• 会在创建项目时自动在本地生成 MySQL 的建表语句。

📝 选择题

💡 概念小测：数据模型定义 在 Scrapy 框架中，我们通过继承 scrapy.Item 并定义 scrapy.Field() 来声明数据结构。这样做的好处是？

• A. 可以自动识别并转换网页中数据字段的数据类型。
• B. 提供统一的容器接口（类似于 Python 字典），防止字段拼写错误，方便后续 Pipeline 批量写入数据库。
• C. 能够直接提高 Scrapy 爬虫项目的网络下载带宽上限。
• D. 会在创建项目时自动在本地生成 MySQL 的建表语句。

答案：B（提供统一的容器接口（类似于 Python 字典），防止字段拼写错误，方便后续 Pipeline 批量写入数据库。）

编写第一个Spider

基础Spider模板

在spiders/目录下创建news_spider.py，实现抓取新闻标题的功能：

import scrapy

class NewsSpider(scrapy.Spider):
    name = "news"  # 爬虫唯一标识符
    start_urls = [
        'https://news.example.com/latest'
    ]

    def parse(self, response):
        # 提取当前页面所有新闻标题（CSS选择器示例）
        titles = response.css('h2.news-title::text').getall()
        
        # 终端打印结果（调试用）
        self.logger.info(f'Found {len(titles)} news titles')
        
        # 结构化输出
        for title in titles:
            yield {
                'title': title.strip(),
                'source': response.url
            }

数据提取方法对比

Scrapy支持两种主要的数据提取方式：

def parse(self, response):
    # CSS选择器获取文章区块
    articles = response.css('article.news-item')
    
    for article in articles:
        # XPath提取详细字段
        yield {
            'title': article.xpath('.//h2/text()').get(),
            'time': article.css('time::attr(datetime)').get()
        }

运行与调试

启动爬虫

在项目根目录执行以下命令运行爬虫并保存结果到JSON文件：

scrapy crawl news -o results.json -L INFO

调试技巧

1. 使用Scrapy Shell快速测试选择器：

scrapy shell 'https://news.example.com/latest'
>>> response.css('h2::text').get()

2. 修改settings.py提高调试效率：

DOWNLOAD_DELAY = 2  
USER_AGENT = 'Mozilla/5.0 (compatible; Googlebot/2.1)'

💡 代码填空：定义字段

补全 Scrapy 项目中 items.py 文件里股票价格数据模型的定义代码：

import scrapy

class StockPriceItem(scrapy.Item):
    # 定义股票代码字段
    ticker = scrapy.{blank}()
    close_price = scrapy.Field()

• field
• Field
• Property

✏️ 填空题

💡 代码填空：定义字段 补全 Scrapy 项目中 items.py 文件里股票价格数据模型的定义代码：

import scrapy
class StockPriceItem(scrapy.Item):
    # 定义股票代码字段
    ticker = scrapy.___()
    close_price = scrapy.Field()

答案：Field

本章小结

行动清单

• 创建一个新的Scrapy项目，尝试修改start_urls指向真实新闻网站（注意遵守robots.txt规则）
• 在Scrapy Shell中练习使用response.css()和response.xpath()提取不同网页元素
• 扩展NewsSpider使其能同时抓取新闻标题和发布时间，并将结果导出为CSV格式

「小象量化教研组」