Skip to main content
POST
Python SDK
同步实时端点会保持 HTTP 请求处于打开状态,直到爬虫完成或达到 timeout,然后以 JSON 形式直接返回采集到的数据。这与异步实时端点不同,后者会立即返回一个 response_id。
你只能触发单输入 API。确保有效载荷是一个对象,而不是对象数组。

超时行为

timeout 查询参数的取值必须在 25s 到 50s 之间。
  • 如果爬虫在超时时间内完成,响应返回 200 OK 以及采集到的数据。
  • 如果到达超时时爬虫仍在运行,响应返回 202 Accepted 以及一个 response_id。使用该 response_id 调用实时数据端点以异步方式获取结果。

何时使用同步实时

在以下情况下使用同步实时(POST /dca/crawl):
  • 你需要在同一个 HTTP 请求中获得结果。
  • 你只发送单个输入。
  • 你的客户端可以保持请求打开,直到采集完成。
  • 采集通常在配置的超时时间内完成。
在以下情况下使用异步实时(POST /dca/trigger_immediate):
  • 你希望先触发采集,稍后再获取结果。
  • 你不希望保持 HTTP 请求处于打开状态。
在以下情况下使用批量采集:
  • 你需要在一次运行中处理多个输入。

授权

Authorization
string
header
必填

在 Authorization 头中使用您的 Bright Data API Key 作为 Bearer token。

认证方法:

  1. 从 Bright Data 账户设置获取您的 API Key: https://brightdata.com/cp/setting/users
  2. 在请求的 Authorization 头中包含 API Key
  3. 格式: Authorization: Bearer YOUR_API_KEY

示例:

了解如何获取 Bright Data API Key: https://docs.brightdata.com/cn/api-reference/authentication#如何生成新的-api-key?

查询参数

collector
string
必填

要运行的爬虫的唯一标识

示例:

"c_abc123"

timeout
string
必填

等待结果时请求保持打开的时长,必须在 25s 到 50s 之间。如果爬虫在超时时间内完成,响应返回 200 OK 和采集到的数据。如果达到超时时间时爬虫仍在运行,响应返回 202 Accepted 和 response_id。

示例:

"50s"

version
string

设置为 dev 以触发 scraper 的开发版本

请求体

application/json

单个输入对象。字段必须与爬虫定义的输入 schema 一致。基于 URL 的爬虫可能需要 url,而搜索类爬虫可能需要 keyword 和 location 等字段。

单个输入对象,其字段与爬虫的输入 schema 一致。

url
string<uri>

适用于接收目标 URL 的爬虫的示例字段。请替换为您的爬虫所需的字段。

响应

OK