此更新可使您以更精确、更简化的方式请求和管理您的数据采集，从而根据您的特定需求更有效地生成数据集。
了解何时使用每个 API:
没有客户定义视图的初始采集:
3 个主要 API 端点在数据采集工作流程中具有不同的用途，可促进高效获取定制数据集的结构化流程。
请求采集:
端点: POST https://api.brightdata.com/datasets/request_collection
参数:
discover_new 或 url_collection
curl "https://api.brightdata.com/datasets/request_collection?dataset_id=gd_l1viktl72bvl7bjuj0&type=discover_new" -H "Authorization: Bearer API_KEY" -H "Content-Type: application/json" -k -d '[{"id":"user-id"}]'
处理可能需要几分钟时间，具体取决于输入的数量。 当您请求查找（discover_new）时，找到所有链接 (PDP) 可能需要一些时间。
查看以上采集的状态:
端点: GET https://api.brightdata.com/datasets/request_collection
参数:
设置数据新鲜度。
如果数据在此期限内（例如，请求在 1 周之前采集，5 天前采集），则会发生 0 次新的抓取。
- 1 周: 604,800,000 毫秒
- 1 个月: 2,592,000,000 毫秒
curl -k "https://api.brightdata.com/datasets/request_collection?request_id=REQUEST_ID&freshness_ms=2592000000" -H "Authorization: Bearer API_KEY"
说明发现的记录数量和新鲜度的响应:
{
"dataset_id": request_job.dataset_id,
"total_lines": 100,
"fresh_count": 30,
"name": "linkedin_companies custom input",
"status": "done",
"request_id": "XXXX",
}
请求仍在运行:
{
"total_lines": 100,
"status": "running",
}
一个（或多个）输入有问题: 在这种情况下，此 url 以 URL 形式发送
{
"request_id": "xxxx",
"error": "Validation failed",
"error_code": "validation",
"validation_errors": [
{
"line": "{\"URL\":\"https://www.tiktok.com/search?q=tjd\"}",
"index": 1,
"errors": [
["url", "Required field"]
]
}
]
}
启动采集:
端点: POST https://api.brightdata.com/datasets/initiate_collection
参数:
curl -X POST -k "https://api.brightdata.com/datasets/initiate_collection" -d '{"request_id":"j_ln2x567b2961de0d1x","freshness_ms":2592000000}' -H "Authorization: Bearer API_KEY" -H "content-type: application/json"
定义视图后的采集:
启动采集:
端点: POST https://api.brightdata.com/datasets/initiate
参数:
discover_new 或 url_collection
curl "https://api.brightdata.com/datasets/initiate?dataset_id=XXX_DATASET_ID&type=url_collection&view=XXX_VIEW_ID" -H "Authorization: Bearer API_KEY" -H "Content-Type: application/json" -k -d '[{"id":"user-id"}]'
数据集将传送到为此视图配置的设置。
现在，利用这些增强的功能，用户可以更有效地定制其数据采集流程，确保生成的数据集符合其项目要求。
如何检索已采集的快照结果
curl "https://api.brightdata.com/datasets/snapshots/snapshot_id/download" -H "Authorization: Bearer API_KEY"
