采集规则编写核心指南：定位策略与常见陷阱

📍 WDQWDWQD987AAAAA:216.73.216.140
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cbe00cf47e3c.html
📄

一套设计得当的采集规则，决定了数据抓取任务能否长期稳定运行。规则既要精准锁定目标字段，又得兼顾抓取效率和账号安全。围绕规则的构成、定位方式的选择以及高频踩坑点，这里整理了一套可落地的编写思路。

1. 套完整规则的三个核心模块

不论用现成采集工具还是自研脚本，完整的采集规则都包含三个紧密衔接的环节：抓取入口、内容提取和结果清理。抓取入口指明从哪个地址开始；内容提取负责在页面数据里锁定目标信息；结果清理则让输出的数据格式统一、没有杂质。

动手之前，先分清抓取的是列表页还是详情页。以图书商品为例，列表页只需采集每本书的详情链接并处理好翻页；而详情页则需应对作者、ISBN、价格等字段可能缺失的情况，规则复杂度高，要预留容错空间。

新手入门时，建议先用可视化采集工具搭建一个简单任务，观察工具自动生成的定位表达式，这能帮你快速理解XPath和正则的运作方式。

2. 四种定位方式的取舍标准

定位方式的选择是规则编写中最容易纠结的地方。四种主流方法各有长短，适配的页面场景差别很大。

XPath 在应对层级深、结构复杂的页面时优势明显。例如抓取文章正文所有段落，用 //div[@class='content']//p 就能整体命中。但它的表达式通常较长，依赖具体层级，目标站点稍做调整，规则就可能失效。

CSS选择器 语法简洁直观，比如直接写 .price 即可按类名提取。它执行效率高，适合结构平铺的页面（如新闻列表）。不过当页面上同名类大量出现时，需要借助 ul li 这类后代选择器来缩小范围。

正则表达式 擅长从纯文本中抽取特定模式的片段，比如从一段描述中挖出手机号或订单号。它灵活但难读，排查成本高，建议仅在CSS和XPath均无法满足时使用，例如解析某些接口返回的数据。

JSONpath 是解析API接口响应的首选。如今很多页面通过Ajax异步加载数据，这时在浏览器开发者工具的Network面板找到XHR请求，对返回的JSON用JSONpath提取，往往比解析HTML更靠谱。

避坑建议：定位优先用相对路径，例如 //div[@class='item']，不要从根节点写死绝对路径。绝对路径对结构调整极敏感，页面多嵌套一层div，整条规则就会崩溃。

3. 翻页与动态加载的应对办法

翻页处理是采集任务中常见的坎，处理不当易导致数据重复或漏抓。

  1. URL规则型翻页：若列表页链接带有 page=1、page=2 等参数，直接循环拼接URL即可，效率高且稳定。
  2. 点击加载型翻页：类似"加载更多"按钮，需要模拟点击或直接向接口发起请求，优先考虑后者。
  3. 无限滚动型：页面滚动到底自动加载，建议观察网络请求，找到背后的JSON接口。

对于动态加载内容，最简单的判断方法是查看页面源码中是否直接包含目标数据。若需用抓包工具分析XHR请求，需留意接口的请求头和参数签名，部分站点会对这些做校验。

4. 规则维护中的高频陷阱与避坑要点

规则写好只是开始，稳定运行更考验细节处理能力。

过度依赖单一属性：如果页面中的 class 名称频繁变动，可改用文本内容或结构位置定位。例如某些商品列表的 class 会随促销活动变化，此时用相对位置或文本匹配更稳妥。

忽略页面结构变化：页面结构变更是规则失效的头号原因。建议定期检查抓取结果，并为核心字段设置异常告警，及时发现问题。

字段清洗不到位：有些价格字段带有货币符号，有些日期格式混乱，需在清洗环节统一处理。例如去除"¥"符号后转成浮点数，或将"2024年5月1日"统一为"2024-05-01"。

未考虑反爬机制：访问频次过高易被封锁IP或触发验证码。建议设置合理的抓取间隔，并轮换User-Agent；必要时使用代理IP池。

5. 常见问题

5.1 定位表达式写好后，如何判断是否准确？

先在浏览器开发者工具的Console中直接测试表达式，确认能选中目标元素且不包含多余节点。再通过采集工具或脚本试运行，抓取少量数据核对内容是否完整、是否有遗漏。

5.2 列表页和详情页采集规则需要分开写吗？

通常是分开的。列表页负责提取链接和翻页参数，详情页则定义各字段的提取规则。两者通过队列衔接：列表页产出的链接进入待抓取队列，作为详情页的输入。

5.3 页面结构更新后，采集规则失效怎么办？

先对比新旧页面结构，找出失效定位点。多数情况下只需修改对应字段的定位表达式；若结构变动较大，需重新审查请求入口和翻页逻辑，并更新清洗规则。

6. 总结

编写采集规则的核心是准确、稳定、易维护。合理规划规则的三段式结构，选择适配的定位方式，并针对翻页、动态加载和反爬做好预案，能显著提升抓取效率与成功率。建议先从简单页面建立规则，再逐步扩展到复杂场景，同时定期核查数据质量，确保规则长期有效。

图1 图2
nginx