Python 教程 / 用 Beautiful Soup 提取 HTML 数据
从 HTML 提取数据时,使用解析器选择元素,再读取文字与属性,并检查预期数量和必填字段。否则页面结构变化可能被误当成正常的空结果,后续汇总便难以察觉数据已经丢失。
先从可控制的静态文档开始
本练习只解析自己编写的 HTML 字符串,不向网站发送请求。解析文档与收集外部网站是不同步骤;真实收集还需核对访问权限、服务条款、请求频率和个人信息处理规则。
Beautiful Soup 是第三方库,安装包名是 beautifulsoup4,导入名却是 bs4。先选中项目虚拟环境,再执行:
python -m pip install beautifulsoup4
这里明确使用 Python 自带的 html.parser 后端,不需要为这个例子另外安装 lxml。不同解析器对错误 HTML 的修复可能不同,因此要明确记录所用后端。具体接口见Beautiful Soup 官方文档。
选择器基础可结合类型、类、ID 与属性选择器和组合符与伪类理解。本课用其中的 ID、类与直接子元素关系定位数据。
运行完整提取示例
新建独立练习目录,使用 Python 3.12 以上项目环境。将下面全部内容以 UTF-8 保存为 parse_html.py,执行 python parse_html.py。如果核对后的解释器命令是 python3,则相应替换命令名称。
from bs4 import BeautifulSoup
html = """<ul id="expenses">
<li data-amount="3500"><span class="name">coffee</span></li>
<li data-amount="8000"><span class="name">lunch</span></li>
</ul>"""
soup = BeautifulSoup(html, "html.parser")
rows = soup.select("#expenses > li")
if len(rows) != 2:
raise ValueError("unexpected row count")
total = 0
for row in rows:
name = row.select_one(".name")
amount_text = row.get("data-amount")
if name is None or not amount_text or not amount_text.isascii() or not amount_text.isdecimal():
raise ValueError("missing or invalid field")
amount = int(amount_text)
print(name.get_text(" ", strip=True), amount)
total += amount
print("total:", total)
预期输出:
coffee 3500
lunch 8000
total: 11500
两条 li 的金额是 3500 和 8000,合计 11500。程序先要求恰好两条记录,再逐条找 .name 和 data-amount。isascii 与 isdecimal 联合使用,只允许 ASCII 十进制数字,不接受符号、小数点或首尾空白;零可以通过。
这些检查针对本例的数据契约,并非完整业务验证器。程序验证名称元素存在,却不要求名称文字非空,也没有检查名称重复或业务金额上限。如果这些规则重要,就需要另外制定条件和测试,不能因为运行成功就认为所有字段都已验证。
理解 CSS 选择器与嵌套文字
在 #expenses > li 中,#expenses 指定 ID,> 要求 li 是其直接子元素。没有 > 的 #expenses li 则也可能匹配更深层后代。.name 匹配类名,不是名为 name 的标签。这些区别有助于把搜索限制在正确区域。
select 返回匹配元素集合,select_one 返回第一个匹配元素,找不到时为 None。应先判断,再读取文字;row.get("data-amount") 同样可能返回 None,不应先强行转换而丢失错误原因。
get_text(" ", strip=True) 在文字片段间加入空格,并去掉各片段两侧空白。例如把 coffee 替换为 <b>coffee</b> shop,可以读出 coffee shop,而不需要用正则拼接 HTML。正则表达式文字搜索处理的是另一种任务,不能代替文档树关系。
Beautiful Soup 只看到你交给它的 HTML,不会执行 JavaScript 去生成后续元素。浏览器显示的数据可能不在初始 HTTP 响应中。先比较原始响应与所需数据来源,再决定提取方式;反复调整选择器不能找到根本没有传给解析器的元素。
检测结构变化并明确失败政策
- 只把 HTML 中第一个 name 类改为 label,保持 Python 选择器不动,应出现 missing or invalid field,然后恢复。
- 把第一个 data-amount 改成 -1 或 abc,确认拒绝。每次比较后先恢复 3500,以免同时修改多个条件。
- 在第一个名称中加入嵌套标签,检查 coffee shop 与原来相同的合计,再恢复原文。
- 改变文档中的 expenses ID,选择结果应为零,并触发 unexpected row count,而不是把空合计当作成功。
本例的两条记录是控制实验的已知数量。实际收集器应根据业务制定合理数量、必填字段与上下文规则:列表可能确实为空,但要能与选择器失效区分。
循环一边验证一边打印,所以第二条出错时,第一条可能已经出现在标准输出中。这些部分输出不代表整个提取成功。交给下游前检查退出状态,或者调整设计,先验证并收集所有数据,再统一输出完整结果。




