📑 查看全课大纲（第 19 / 101 节）

网页解析模块(1)

约 13 分钟

📺 正在播放小象官方高清录播（支持倍速与清晰度调节）

网页解析模块(1)：DOM 树模型与 BeautifulSoup 核心查询精讲

小象实战讲义 · Python数据分析实战

在网络爬虫通过下载模块将网页的 HTML 源码抓取到本地后，接下来的核心环节就是网页解析（Web Parsing）。HTML 是一种嵌套层级繁复的标记语言，散布着大量的标签、属性与样式代码。如何从数万行的杂乱代码中快速、精准地抽取出我们所需的业务数据（如商品标题、价格、发布日期、文章正文），并提取出页面中包含的全部跳转链接？本节我们将系统讲解 HTML 的 DOM 树结构模型，并深入掌握 Python 中最为流行、语义极其优雅的结构化解析工具——BeautifulSoup。

💡 核心导读

网页解析的三大技术路径对比：
- 正则表达式（Regex）：适合提取特定规则的短文本，但在复杂嵌套 HTML 中极易脆弱断裂；
- Python 内置 html.parser：标准库零依赖，解析速度适中；
- BeautifulSoup（bs4）：将 HTML 解析为结构化 DOM 树，提供最符合人类直觉的节点查询 API。
DOM（Document Object Model，文档对象模型）树形结构：深入理解标签（Tag）、属性（Attrs）、文本（String）与节点层级。
BeautifulSoup 核心对象与解析器配置：html.parser 与 lxml 解析引擎的区别。
节点精准定位与查询技术：
- find()：快速捕获第一个匹配的节点；
- find_all()：全量匹配目标节点集合；
- 多维筛选策略：按标签名、CSS 类名（class_）、ID、超链接（href）以及文本内容精准过滤。

1. 网页解析的技术选型与 DOM 树模型

网页的本质是由 HTML 标签构成的层级树状结构，称为 DOM（文档对象模型）。例如：

                    ┌─────────────────────────┐
                    │       <html> 根节点     │
                    └────────────┬────────────┘
                                 │
                 ┌───────────────┴───────────────┐
                 ▼                               ▼
       ┌──────────────────┐            ┌──────────────────┐
       │   <head> 头部    │            │   <body> 主体    │
       └──────────────────┘            └─────────┬────────┘
                                                 │
                                 ┌───────────────┴───────────────┐
                                 ▼                               ▼
                       ┌──────────────────┐            ┌──────────────────┐
                       │  <div id="main"> │            │    <ul> 列表     │
                       └─────────┬────────┘            └─────────┬────────┘
                                 │                               │
                                 ▼                               ▼
                       ┌──────────────────┐            ┌──────────────────┐
                       │ <h1> 标题文本    │            │ <li> 列表项数据  │
                       └──────────────────┘            └──────────────────┘

解析技术对比：

正则表达式：基于纯文本字符串匹配，适合抓取单行固定格式数据（如邮箱、手机号、日期），但无法理解 HTML 语义树，对标签属性顺序或空格变化极其敏感；
BeautifulSoup：在内存中将 HTML 还原为一棵完整的 DOM 树，允许开发者像在树林中导航一样自由穿梭（查找子节点、父节点、兄弟节点），容错能力极高。

2. BeautifulSoup 基础工作流与解析器初始化

使用 BeautifulSoup 处理 HTML 主要遵循三部曲：

实例化 BeautifulSoup 对象：传入 HTML 文本与指定的底层解析引擎；
定位与查询节点：使用 find() 或 find_all() 查找目标 Tag；
提取节点信息：获取 Tag 的标签名、属性字典或包裹的文本内容。

# 示例 1：创建 BeautifulSoup 对象并演练不同解析器

from bs4 import BeautifulSoup

# 一段典型的空气质量与城市数据 HTML 样本
html_doc = """
<!DOCTYPE html>
<html>
<head><title>全国城市空气质量监控平台</title></head>
<body>
    <div id="city-container" class="weather-box">
        <h1 class="main-title">实时空气质量监测报表</h1>
        <p class="update-time">更新时间：2026-08-22 18:00</p>
        <ul class="city-list">
            <li class="city-item" data-id="101"><a href="/city/beijing" class="city-link">北京</a><span>AQI: 35 (优)</span></li>
            <li class="city-item" data-id="102"><a href="/city/shanghai" class="city-link">上海</a><span>AQI: 42 (优)</span></li>
            <li class="city-item" data-id="103"><a href="/city/guangzhou" class="city-link">广州</a><span>AQI: 58 (良)</span></li>
        </ul>
    </div>
</body>
</html>
"""

# 1. 使用 Python 内置的 html.parser 构造解析对象
soup = BeautifulSoup(html_doc, "html.parser")

# 2. 验证解析树的顶层对象
print(f"网页标题标签: {soup.title}")
print(f"网页标题纯文本: {soup.title.string}")
print(f"根节点 HTML 标签名: {soup.html.name}")

3. Python 代码实战：`find()` 与 `find_all()` 核心节点查询

find() 和 find_all() 是 BeautifulSoup 中使用频率最高的两个核心查询 API：

# 示例 2：使用 find 与 find_all 进行多维度节点精准查询

# 1. 查找单个节点：find()
# 查找第一个 <h1> 标签
h1_tag = soup.find("h1")
print(f"\n1. 第一个 h1 节点: {h1_tag} | 文本: {h1_tag.text}")

# 查找具有特定 class 属性的节点（注意：因为 class 是 Python 关键字，需写作 class_）
update_node = soup.find("p", class_="update-time")
print(f"2. 更新时间节点: {update_node.text}")

# 查找特定 id 的容器节点
container = soup.find("div", id="city-container")
print(f"3. 容器节点标签名: {container.name} | class属性: {container.get('class')}")

# 2. 查找全部匹配节点：find_all()
# 查找所有的 <a> 标签
all_links = soup.find_all("a")
print(f"\n4. 页面中找到的 a 标签总数: {len(all_links)}")
for link in all_links:
    city_name = link.text
    href_url = link.get("href")
    print(f"  • 城市: {city_name} | 链接: {href_url}")

# 3. 组合条件与属性字典精准过滤
# 查找 class 包含 city-item 且 data-id 为 102 的 <li> 节点
shanghai_li = soup.find_all("li", attrs={"class": "city-item", "data-id": "102"})
for item in shanghai_li:
    print(f"\n5. 精准定位上海节点: {item.text}")

📝 动手练一练

语法辨析题：在 BeautifulSoup 中使用 find_all() 按 CSS 类名筛选节点时，以下三种写法中哪一种会触发 Python 语法错误（SyntaxError）？为什么？
- 写法 A: soup.find_all('div', class_='header')
- 写法 B: soup.find_all('div', attrs={'class': 'header'})
- 写法 C: soup.find_all('div', class='header')
👉 点击查看参考答案
参考答案： 写法 C 会报错。因为 class 是 Python 语言的保留关键字（用于定义类），不能直接作为函数的命名关键字参数。BeautifulSoup 为此专门设计了带有下划线的 class_ 参数（写法 A），或者也可以通过字典传入 attrs={'class': 'header'}（写法 B）。

编程练习：假设有一段 HTML 代码 html = '<div class="news-list"><a href="/n/1.html">新闻A</a><a href="/n/2.html">新闻B</a><a href="http://external.com">外链C</a></div>'。请编写代码，使用 BeautifulSoup 提取出所有以 /n/ 开头的站内新闻链接的文本和 href。

👉 点击查看参考答案

参考答案：

from bs4 import BeautifulSoup
import re

html = '<div class="news-list"><a href="/n/1.html">新闻A</a><a href="/n/2.html">新闻B</a><a href="http://external.com">外链C</a></div>'
soup = BeautifulSoup(html, 'html.parser')

# 方式：配合正则表达式 re.compile 或列表推导式
internal_links = soup.find_all('a', href=re.compile(r'^/n/'))
print("=== 提取到的站内新闻 ===")
for a in internal_links:
    print(f"标题: {a.text} | 链接: {a['href']}")

本章小结

在本节中，我们建立了结构化网页解析的核心理念：

深刻理解了 DOM 文档对象模型的树形层级组织；
掌握了 BeautifulSoup 的基本工作流与 HTML 解析引擎的选择；
熟练运用 find() 与 find_all() 通过标签名、class_、id 与 attrs 多维属性精准捕获目标节点。

📋 行动清单

尝试在自己编写的 HTML 字符串上演练 soup.find_all() 的各种属性过滤组合。
做好准备，进入下一小节学习《网页解析模块(2)：Tag 对象属性提取与 DOM 树遍历导航》！

—— 小象教研组

配套学习资源与课件

本节课件：网页解析模块(1)(PDF · 355KB)
下载
全套课件打包（第1-5章）(ZIP · 12.8MB)
下载
全套课件打包（第6-8章）(ZIP · 15MB)
下载
实战数据集：AppleStore 应用商城分析(ZIP · 329KB)
下载
实战数据集：女性服装电商分析(ZIP · 2.8MB)
下载
Python 数据分析环境搭建指南(PDF · 2MB)
下载
Scrapy 安装教程(PDF · 12.7MB)
下载
附加实战项目：AppleStore 应用商城数据分析(ZIP · 0.3MB · ipynb + CSV 数据)
下载
附加实战项目：银行电话营销数据分析(ZIP · 0.4MB · ipynb + CSV 数据)
下载
附加实战项目：女性服装电商评论数据分析(ZIP · 2.7MB · ipynb + CSV 数据)
下载
附加实战项目：美国化学学会杂志数据分析(ZIP · 34.2MB · ipynb + SQLite 数据库)
下载

🎁 免费学习资源

领取《小象 11GB VIP 课件资料包与大厂真题手册》

包含全套实战 Jupyter 源码、清洗后数据集、大厂高频面试真题与专属学员答疑交流群。

✔完整 Python / 数据分析 Jupyter 实战源码
✔大厂真实业务数据集与练习题
✔微信扫码添加课程顾问，免费获取网盘下载链接

微信扫码添加顾问