📑 查看全课大纲（第 16 / 101 节）

爬虫简介

约 7 分钟

📺 正在播放小象官方高清录播（支持倍速与清晰度调节）

网络数据采集与爬虫架构全景：核心组件与工作流精讲

小象实战讲义 · Python数据分析实战

在现代数据分析体系中，除了使用内部数据库和离线文件之外，互联网（World Wide Web）本身就是一个极其庞大、实时更新的数据宝库。例如：电商平台的商品价格与用户评论、社交媒体的公众舆情、招聘网站的行业薪资与技能需求、气象部门的城市环境指标等。如何自动化、成规模地从互联网上获取这些公开数据？答案就是网络爬虫（Web Crawler / Spider）。从本节开始，我们将步入第 3 章《网络数据的获取与表示》，系统建立网络爬虫与数据解析的技术底座。

💡 核心导读

网络爬虫的核心定义与价值：自动化抓取网络公开数据，为后续数据清洗与建模分析提供丰富输入。
经典爬虫三大核心架构组件：
- URL 管理模块（URL Manager）：调度待爬取与已爬取链接，防止重复与死循环；
- 网页下载模块（Downloader）：通过 HTTP 通信拉取网页 HTML 或 JSON；
- 网页解析模块（Parser）：从 DOM 树中提取目标业务字段与待探索的新链接。
合规守则：遵守 robots.txt 协议与请求频次控制（Rate Limiting）。

1. 什么是网络爬虫与三大核心模块

网络爬虫是一种按照既定规则自动抓取互联网信息的程序。其标准架构包含三大核心组件：

┌─────────────────────────────────────────────────────────────┐
│ 1. URL 管理模块 : 调度待爬取队列与已爬取去重集合             │
└──────────────────────────────┬──────────────────────────────┘
                               │ 取出待抓取 URL
                               ▼
┌─────────────────────────────────────────────────────────────┐
│ 2. 网页下载模块 : HTTP 请求与响应处理 (requests 库)         │
└──────────────────────────────┬──────────────────────────────┘
                               │ 传递 HTML / JSON
                               ▼
┌─────────────────────────────────────────────────────────────┐
│ 3. 网页解析模块 : 提取业务数据 (落盘) + 发现新 URL (回传入队)│
└─────────────────────────────────────────────────────────────┘

URL 管理模块：负责管理待爬与已爬链接，防止重复与死循环；
网页下载模块：模拟客户端建立连接，下载 HTML 源码或二进制资源；
网页解析模块：解析 DOM 结构，提取目标数据并发现新链接回传。

2. Python 代码实战：构建微型爬虫原型架构

下面我们通过面向对象编程实现一个轻量级的微型爬虫原型，演示三大模块的流转：

# 示例 1：微型爬虫核心组件封装

import re
import time

class SimpleUrlManager:
    """轻量级 URL 管理器"""
    def __init__(self):
        self.new_urls = set()
        self.old_urls = set()
        
    def add_new_url(self, url):
        if url and url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
            
    def add_new_urls(self, urls):
        for u in urls:
            self.add_new_url(u)
            
    def has_new_url(self):
        return len(self.new_urls) > 0
        
    def get_new_url(self):
        url = self.new_urls.pop()
        self.old_urls.add(url)
        return url

class SimpleDownloader:
    """模拟网页下载器"""
    def download(self, url):
        print(f"  [下载器] 正在下载: {url}")
        if url == "http://example.com/home":
            return "<html><body><h1>北京空气质量: 优</h1><a href='http://example.com/city/sh'>上海</a></body></html>"
        elif "city/sh" in url:
            return "<html><body><h1>上海空气质量: 良</h1></body></html>"
        return "<html><body><h1>未知页面</h1></body></html>"

class SimpleParser:
    """模拟网页解析器"""
    def parse(self, page_url, html):
        data = None
        match = re.search(r"<h1>(.*?)</h1>", html)
        if match:
            data = match.group(1)
            
        new_urls = set(re.findall(r"href=['\"](http://example\.com/[^'\"]+)['\"]", html))
        return new_urls, data

print("✅ 微型爬虫组件定义就绪！")

接下来运行调度器主循环：

# 示例 2：爬虫调度器主循环执行

class SpiderScheduler:
    def __init__(self):
        self.urls = SimpleUrlManager()
        self.downloader = SimpleDownloader()
        self.parser = SimpleParser()
        self.results = []
        
    def run(self, root_url, max_pages=3):
        self.urls.add_new_url(root_url)
        count = 0
        
        while self.urls.has_new_url() and count < max_pages:
            count += 1
            curr_url = self.urls.get_new_url()
            print(f"\n--- [第 {count} 轮] 目标: {curr_url} ---")
            
            html = self.downloader.download(curr_url)
            new_urls, data = self.parser.parse(curr_url, html)
            
            if data:
                print(f"  [数据解析] 提取到: 【{data}】")
                self.results.append({"url": curr_url, "data": data})
            if new_urls:
                self.urls.add_new_urls(new_urls)
            time.sleep(0.05)

spider = SpiderScheduler()
spider.run("http://example.com/home", max_pages=5)

📝 动手练一练

架构思考题：在 URL 管理模块中，为什么记录“待爬取链接”和“已爬取链接”时，推荐优先使用集合（set）而不是列表（list）？
👉 点击查看参考答案
参考答案： ① 去重性能：Python set 基于哈希表实现，元素查找（in）时间复杂度为 $O(1)$，而 list 为 $O(n)$； ② 唯一性保证：set 自动去重，杜绝重复加入相同链接。

编程练习：编写一个函数 check_robots_permission(robots_txt, path)，判断目标路径是否被 Disallow 规则禁止抓取。

👉 点击查看参考答案

参考答案：

def check_robots_permission(robots_txt, target_path):
    for line in robots_txt.strip().split("\n"):
        line = line.strip()
        if line.startswith("Disallow:"):
            disallow_path = line.split(":", 1)[1].strip()
            if disallow_path and target_path.startswith(disallow_path):
                return False
    return True

sample = "User-agent: *\nDisallow: /admin/"
print("是否允许爬取 /public:", check_robots_permission(sample, "/public"))
print("是否允许爬取 /admin/db:", check_robots_permission(sample, "/admin/db"))

本章小结

在本节中，我们全面了解了网络数据获取的基石——网络爬虫：

掌握了网络爬虫的定义与应用场景；
拆解了 URL 管理器、网页下载器与网页解析器三大核心模块的协作逻辑；
树立了合法合规、文明爬取的技术伦理意识。

📋 行动清单

理解三大模块的分工与数据流转闭环。
做好准备，进入下一小节深入剖析《URL 管理模块》！

—— 小象教研组

配套学习资源与课件

本节课件：爬虫简介(PDF · 227KB)
下载
第3章配套代码包：爬虫与 Scrapy 工程(ZIP · 23KB)
下载
全套课件打包（第1-5章）(ZIP · 12.8MB)
下载
全套课件打包（第6-8章）(ZIP · 15MB)
下载
实战数据集：AppleStore 应用商城分析(ZIP · 329KB)
下载
实战数据集：女性服装电商分析(ZIP · 2.8MB)
下载
Python 数据分析环境搭建指南(PDF · 2MB)
下载
Scrapy 安装教程(PDF · 12.7MB)
下载
附加实战项目：AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)
下载
附加实战项目：银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)
下载
附加实战项目：女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)
下载
附加实战项目：美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)
下载

🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

✔完整 Python / 数据分析 Jupyter 实战源码
✔大厂真实业务数据集与练习题
✔微信扫码添加课程顾问，免费获取网盘下载链接

微信扫码添加顾问