Web Scraper API的管理API
Bright Data的管理API能够监控、检索和交付网页数据快照,欢迎探索。此工具可高效管理数据收集状态、交付和批量处理。
监控进度
Endpoint: GET /datasets/v3/progress/:snapshot_id
返回之前触发的特定收集的状态。
参数
触发收集时返回的ID
示例:
s_lynh132v19n82v81kx
获取快照列表
Endpoint: GET /datasets/v3/snapshots
返回触发的收集的列表,列表仅包含为特定数据集创建的快照
监控交付
Endpoint: GET /datasets/v3/delivery/:delivery_id
此调用将返回交付状态。
参数
从交付API端点返回的唯一交付ID
示例:
delivery_id=d_lysxl9vf2dobrb6h31
计算交付部分的数量
Endpoint: GET /datasets/v3/snapshot/:snapshot_id/parts
在请求批量交付(请参阅可用的交付API)时,使用此端点来检查创建了多少个部分。format、compress和batch_size须与发送到交付/下载API调用的内容完全匹配。
Was this page helpful?