Web Scraper IDE API
触发抓取工具,进行批量采集
API 端点: POST
/dca/trigger?collector={ID_COLLECTOR}
POST
Body
raw JSON -d '[{"url":"https://targetwebsite.com/product_id/"}]'
查询参数
抓取工具的唯一标识
设置为 dev
以触发抓取工具的开发版本
human_name
- 批量采集的数据名称,须易于识别和理解
选择 trigger_behavior
参数:
如果抓取队列中已有任务,则将该作业推送至队列中
发送另一批请求,这些请求将在上一批请求完成后开始处理
取消正在运行的作业,然后提交并运行新的请求
禁止下载媒体文件
设置作业截止时间,作业将在指定时间后终止
- h:小时
- m:分钟
- s:秒
标头
授权持有者密钥 -H "Authorization: Bearer API_TOKEN"
JSON/CSV/Multipart -H "Content-Type: application/json"