Skip to main content
本参考文档在一张表中列出 Bright Data Scraper API 已记录的全部限制,以及请求达到每项限制时会发生什么。

Scraper API 有哪些限制?

如何避免 HTTP 429 限制?

将多个输入合并到一个 /trigger 请求中,而不是为每个输入启动一个任务。单个任务最多接受 1 GB 输入数据,因此更少、更大的任务能让您保持在 5,000 个运行中任务的限制以内。 收到 429 时,停止发送请求,如有 Retry-After 响应头,等待其中的秒数,否则按 2、4、8、16、32 秒加随机抖动退避,然后重试。请设定固定的重试次数上限。重试代码见收到 429 Too Many Requests 错误?,所有 Scraper API 错误消息见 Scraper API 错误代码。

常见问题

一个 Scraper API 请求可以发送多少个 URL?

Bright Data 建议每个同步 /scrape 请求只发送一个输入,因为输入越多,越难在 1 分钟内完成。这是建议,而非硬性限制。无法在 1 分钟内完成的 /scrape 请求会返回 HTTP 202 和 snapshot_id,任务以异步方式继续运行。异步 /trigger 端点每个任务最多接受 1 GB 输入数据。详见如何使用异步请求批量抓取数据。

同步请求超过 1 分钟会失败吗?

不会。运行超过 1 分钟的 /scrape 请求会返回 HTTP 202 和 snapshot_id,任务继续运行。使用 snapshot_id 轮询监控进度,然后通过下载快照获取记录。