Web Scraper API
Web Scraper API的管理API
Bright Data的管理API能够监控、检索和交付网页数据快照,欢迎探索。此工具可高效管理数据收集状态、交付和批量处理。
监控进度
Endpoint: GET /datasets/v3/progress/:snapshot_id
返回之前触发的特定收集的状态。
参数
触发收集时返回的ID
示例:
s_lynh132v19n82v81kx
获取快照列表
Endpoint: GET /datasets/v3/snapshots
返回触发的收集的列表,列表仅包含为特定数据集创建的快照
查询参数
数据集标识符(可在特定的API页面中找到)
示例:
dataset_id=gd_l1vikfnt1wgvvqz95w
仅列出具有特定状态的快照
示例:
status=ready
选项:
running
,ready
,failed
仅列出在特定日期之后创建的快照
示例示例:
from_约会=2024-01-01
仅列出在特定日期之前创建的快照
示例:
from_约会=2024-04-01
监控交付
Endpoint: GET /datasets/v3/delivery/:delivery_id
此调用将返回交付状态。
参数
从交付API端点返回的唯一交付ID
示例:
delivery_id=d_lysxl9vf2dobrb6h31
计算交付部分的数量
Endpoint: GET /datasets/v3/snapshot/:snapshot_id/parts
在请求批量交付(请参阅可用的交付API)时,使用此端点来检查创建了多少个部分。format、compress和batch_size须与发送到交付/下载API调用的内容完全匹配。
Was this page helpful?