数据爬虫开发前，需要确认哪些数据来源和授权？

数据爬虫开发前先核对来源、访问许可、字段用途、更新频率和交付方式。用样本验证质量与持续采集条件，避免把页面可见等同于可任意使用。

01 / 先列来源，再选择采集方式

把需要的数据按企业自有数据库、官方 API、授权文件和网页来源分类，记录网址或系统名称、提供方与对接人。已有稳定接口时，可以先评估接口是否能满足需求。

数据爬虫用于获取哪些页面、哪些字段，必须明确。只提供一个网站首页和“全部数据”的要求，无法准确判断范围、持续运行方式与维护工作。

为每个来源记录访问许可、约定用途、允许保存的字段、使用期限与再分发条件。页面能在浏览器中打开，只能说明当时可见，不应据此推定可以任意批量获取和使用。

robots.txt 表达自动访问规则，本身不是访问授权机制。评估时既要查看站点规则，也要确认数据提供方的实际许可；不能用 robots.txt 未禁止来代替用途与权限确认。

列出字段名称、业务用途、是否必须和期望格式。例如做商品规格比较，应先说明需要商品编号、规格与更新时间，避免顺手采集与目标无关的联系人或其他信息。

涉及个人信息、登录权限或使用范围不清晰的数据时，先由业务方与数据提供方确认处理条件，必要时取得相应专业意见。未确认的字段保留为待办，不直接纳入生产任务。

挑选不同页面类型、正常与缺失字段、重复记录和历史数据进行样本验证。检查字段是否稳定、是否需要单位转换，以及同一对象如何识别和更新。

假设目标是跟踪商品价格，需要区分展示价、规格价与活动价，并保留采集时间和来源。否则即使成功抓到数字，也可能无法支撑后续比较。示例只用于说明字段设计。

采集频率应匹配业务需要与来源允许的访问条件，避免无必要的重复请求。任务要能记录失败原因、暂停和恢复，来源发生变化时应有重新评估与修复安排。

遇到验证码、登录失效、访问限制或授权变化时，应暂停相应任务并联系数据提供方，不将绕过访问控制作为常规维护。接口或页面结构变化的适配范围也要提前约定。

验收可检查来源清单、字段说明、去重规则、更新方式和异常记录，再抽样将交付数据与原始来源核对。文件、数据库或 API 交付，都应说明结构与使用方式。

对于长期任务，还需约定谁维护访问凭证、谁接收异常提醒、哪些情况停止采集，以及历史结果如何保存和清理。完成一次采集，并不等于后续来源变化无需维护。

参考：RFC 9309：Robots Exclusion Protocol。该标准说明 robots.txt 的访问规则不构成访问授权。