Scraper API 限制 - Bright Data Docs

本参考文档在一张表中列出 Bright Data Scraper API 已记录的全部限制，以及请求达到每项限制时会发生什么。

Scraper API 有哪些限制？

范围	限制	数值	达到限制时
同步 `/scrape`	响应等待时长	1 分钟	API 返回 HTTP 202 和 `snapshot_id`，任务继续运行。`retry-after` 响应头给出轮询前应等待的时长，撰写本文时为 10 秒。详见如何处理 202 响应
异步 `/trigger`	每个任务的输入数据	1 GB	约数万个 URL。更大的输入请拆分到多个任务
异步 `/trigger`	最少输入数	由各爬虫设定	部分爬虫需要多个输入。输入过少的请求返回 HTTP 400 `Should be at least LIMIT inputs`
`/trigger` 和 `/scrape`	运行中任务数	5,000 个活动任务或快照	新请求返回 HTTP 429 `You have too many running jobs for this dataset`
`/trigger` 和 `/scrape`	每个 IP 的 HTTP 429 响应数	5 分钟内 25 次	Bright Data 会拦截该 IP 的所有 API 请求，直到支持团队解除
Webhook 投递	负载大小	1 GB	更大的结果请使用存储投递
Webhook 投递	响应时限	30 秒	Bright Data 视为投递失败并重试。请先返回 HTTP 200，再处理负载。详见如何在生产环境中处理 webhook
下载快照	快照保留期	任务完成后 30 天	快照无法再下载。如需更长时间保留结果，请投递到存储或 webhook
下载快照	每个请求的下载大小	5 GB	使用 `batch_size` 和 `part` 分段下载快照
下载快照	分段下载的最小 `batch_size`	1,000 条记录	使用 1,000 或更大的 `batch_size`
投递快照	投递文件大小	每个文件 5 GB	HTTP 400。调低 `batch_size`，使每个文件小于 5 GB
流式投递	每批行数	10 至 100,000	在此范围内设置 `stream_max_lines`。流式投递需要存储或 Webhook 目标
Instagram	媒体链接有效期	采集后 24 小时	记录中的媒体 URL 失效。请在 24 小时内下载媒体
LinkedIn	每个个人资料的帖子数	个人资料公开显示的帖子，通常约 10 条	不会采集更早的帖子

如何避免 HTTP 429 限制？

将多个输入合并到一个 /trigger 请求中，而不是为每个输入启动一个任务。单个任务最多接受 1 GB 输入数据，因此更少、更大的任务能让您保持在 5,000 个运行中任务的限制以内。收到 429 时，停止发送请求，等待 Retry-After 响应头中的秒数，或按 2、4、8、16、32 秒退避，然后重试。重试代码见收到 429 Too Many Requests 错误？，所有 Scraper API 错误消息见 Scraper API 错误代码。

常见问题

一个 Scraper API 请求可以发送多少个 URL？

Bright Data 建议每个同步请求不超过 20 个 URL，这是最佳实践，而非硬性限制。无法在 1 分钟内完成的 /scrape 请求（例如包含大量 URL 的请求）会返回 HTTP 202 和 snapshot_id，任务以异步方式继续运行。异步 /trigger 端点每个任务最多接受 1 GB 输入数据。详见如何使用异步请求批量抓取数据。

同步请求超过 1 分钟会失败吗？

不会。运行超过 1 分钟的 /scrape 请求会返回 HTTP 202 和 snapshot_id，任务继续运行。使用 snapshot_id 轮询监控进度，然后通过下载快照获取记录。