网页解析模块(2)

网页解析模块(2)：Tag 对象属性挖掘与 DOM 树导航遍历精讲

小象实战讲义 · Python数据分析实战

在掌握了使用 find() 与 find_all() 定位目标节点的基础之后，我们往往需要更进一步：一方面深入目标节点内部，提取特定属性（如 href 链接、src 图片源、data-* 属性）与纯文本；另一方面，实际网页中很多数据没有唯一的 id 或语义化的 class，我们需要以某个特征明显的“基准节点”为跳板，沿着 DOM 树向上回溯父级、向下遍历子代或横向穿梭于同辈兄弟节点。本节我们将深入学习 Tag 对象的属性挖掘机制与 DOM 树的高级导航遍历技巧。

💡 核心导读

• Tag 对象核心属性：
  • Tag.name：标签名称读取；
  • Tag.attrs：属性字典（class 多值列表与单值属性）；
  • Tag.text 与 Tag.get_text(strip=True)：纯文本清洗。
• DOM 树立体导航遍历：
  • 向下：.children（直接子代）与 .descendants（全部子孙）；
  • 向上：.parent（父节点）与 .parents（祖先链条）；
  • 横向：.next_sibling 与 .previous_sibling（同级兄弟节点）。

1. Tag 对象的属性结构与遍历模型

┌─────────────────────────────────────────────────────────────┐
│                    Tag 对象的解构与属性系统                  │
├─────────────────────────────────────────────────────────────┤
│  <a href="http://news.com" class="mnav main-link">新闻</a>  │
│  │  └──────────────────────────────────────────┘  └──┘      │
│  ▼                        ▼                        ▼        │
│ Tag.name              Tag.attrs                Tag.text     │
│   'a'          {'href': 'http://news.com',      '新闻'      │
│                 'class': ['mnav', 'main-link']}             │
└─────────────────────────────────────────────────────────────┘

2. Python 代码实战：Tag 属性提取与 DOM 树导航

# 示例 1：Tag 属性读取与文本清洗

from bs4 import BeautifulSoup

html_content = """
<div id="report" class="data-card">
    <h2 class="title">城市环境综合指标</h2>
    <table class="table-grid">
        <tbody>
            <tr id="row-bj">
                <td class="city">北京</td>
                <td class="aqi">38</td>
                <td class="level"><span class="badge">优</span></td>
            </tr>
            <tr id="row-sh">
                <td class="city">上海</td>
                <td class="aqi">65</td>
                <td class="level"><span class="badge">良</span></td>
            </tr>
        </tbody>
    </table>
    <a href="/data.csv">下载完整数据</a>
</div>
"""

soup = BeautifulSoup(html_content, "html.parser")

# 1. 属性提取
report_div = soup.find("div", id="report")
print("1. 标签名:", report_div.name)
print("2. class 属性列表:", report_div["class"])
print("3. 获取 a 标签链接:", soup.find("a").get("href"))

# 2. get_text 清洗
print("4. 清洗后的表格文本:")
print(soup.find("table").get_text(separator=" | ", strip=True))

接下来演示使用兄弟节点与父节点相对定位：

# 示例 2：DOM 树的相对遍历定位

# 1. 以北京行 (#row-bj) 的城市单元格为基准，横向查找兄弟节点
bj_city = soup.find("td", class_="city")
print("\n=== 相对定位与兄弟节点穿梭 ===")
print("• 基准城市单元格:", bj_city.text)

# 查找同级下一个 td (AQI 指数)
aqi_td = bj_city.find_next_sibling("td")
print("• 下一个兄弟 td (AQI):", aqi_td.text)

# 2. 向上回溯父级节点
badge = soup.find("span", class_="badge")
parent_tr = badge.find_parent("tr")
print(f"• 从徽标向上回溯整行 tr id: {parent_tr.get('id')}")
print("• 该行全部字段:", [td.text for td in parent_tr.find_all("td")])

📝 动手练一练

1. 思考题：在 DOM 树中，.children 与 .descendants 的核心区别是什么？

   👉 点击查看参考答案

   参考答案：

   • .children 仅返回当前节点的直接第一层子节点；
   • .descendants 会递归返回当前节点下的所有子孙节点（包括孙节点、曾孙节点及所有文本内容）。

2. 编程练习：编写代码定位列表 <ul><li>苹果<b>5元</b></li><li>香蕉<b>3元</b></li></ul> 中的每个 <li>，并通过 find('b') 提取价格并计算总价。

   👉 点击查看参考答案

   参考答案：

   from bs4 import BeautifulSoup
   
   html = "<ul><li>苹果<b>5元</b></li><li>香蕉<b>3元</b></li></ul>"
   soup = BeautifulSoup(html, "html.parser")
   
   total = sum(int(li.find("b").text.replace("元", "")) for li in soup.find_all("li"))
   print("水果总价:", total, "元")

本章小结

在本节中，我们掌握了 BeautifulSoup 的进阶核心技术：

• 深入解构了 Tag 对象的 name、attrs 与文本提取机制；
• 熟练掌握了父级（parent）、子代（children）与兄弟（siblings）三向树遍历语法；
• 学会了在复杂网页中使用相对坐标进行精准寻址。

📋 行动清单

• 理解直接子代（children）与全量后代（descendants）的区别。
• 做好准备，进入下一小节学习《Scrapy 简介与架构原理》！

—— 小象教研组