Skip to main content
GET
cURL
无需 API key 即可查询数据集 ID:请读取 scrapers.json。该文件列出每个预构建采集器的数据集 ID、名称、域名和采集方法,每天更新。

授权

Authorization
string
header
必填

在 Authorization 头中使用您的 Bright Data API Key 作为 Bearer token。

认证方法:

  1. 从 Bright Data 账户设置获取您的 API Key: https://brightdata.com/cp/setting/users
  2. 在请求的 Authorization 头中包含 API Key
  3. 格式: Authorization: Bearer YOUR_API_KEY

示例:

了解如何获取 Bright Data API Key: https://docs.brightdata.com/cn/api-reference/authentication#如何生成新的-api-key?

查询参数

dataset_id
string

仅返回该数据集 ID 对应的采集器。省略时返回账户中的全部采集器。

示例:

"gd_l7q7dkf244hwjntr0"

domain
string

仅返回 domain 与该值匹配的采集器。省略时返回账户中的全部采集器。

示例:

"amazon.com"

响应

200 - application/json

OK

id
string
必填

采集器的数据集 ID。在触发、抓取和快照端点中用作 dataset_id 查询参数。

示例:

"gd_l7q7dkf244hwjntr0"

name
string
必填

采集器在 Bright Data 控制面板中显示的名称。

示例:

"Amazon products"

domain
string
必填

采集器所采集的目标站点。可按该字段将采集器归入同一站点系列。

示例:

"amazon.com"

scraper_type
string[]
必填

该采集器支持的采集方式。collect_by_url 直接根据 URL 或其他标识符采集单条记录。每种 discover_by_* 方式会先执行发现阶段,再采集发现到的记录。要运行发现方式,请在 POST /datasets/v3/trigger 中传入 type=discover_new,并将去掉 discover_by_ 前缀的方式名作为 discover_by 传入,例如 discover_by_keyword 对应 discover_by=keyword。该数组的值与 scrapers 对象的键完全一致。

示例:
scrapers
object
必填

按采集方式名称索引的详细信息。其键与 scraper_type 数组完全一致。

description
string | null

采集器所返回数据的概述。采集器没有已发布的描述时返回 null 或省略该字段。

category
string

市场分类。返回值为 ecomm、social、business、travel、real_estate、ad_verification、classifieds、financial、geospatial、AI Search 和 Data for AI。未分类的采集器会省略该字段。

示例:

"ecomm"

size
integer

对应的 Bright Data 市场数据集的记录数。仅在采集器有对应数据集时返回。

示例:

300000000

use_cases
object[] | null

对应市场数据集的精选子集。采集器未发布子集时返回 null 或省略该字段。