Clay 集成
本文将为您提供将 Clay 集成到 Bright Data 网络抓取 API 的信息。Clay 是一个强大的工具,用于管理和自动化工作流程。通过将您的 Web Scraper API 集成到 Clay,您可以:
-
自动从目标网站抓取数据。
-
在 Clay 工作流中处理和分析收集到的数据。
-
通过 Clay 将抓取的数据流式传输到其他工具或服务。
前置条件
在开始之前,请确保以下事项:
-
访问 Clay:您必须拥有一个具有管理员权限的 Clay 账户。
-
Web Scraper API 访问权限:您需要拥有 Bright Data API 令牌,包括身份验证详细信息、所需的端点以及请求/响应结构。
集成步骤
第 1 步:设置 Web Scraper API
-
从 Bright Data API 提供的多种选项中选择目标网站。
-
选择您需要的特定爬虫。
-
通过 JSON 或 CSV 更新所需的输入列表。
-
启用 “随结果包含错误报告” 切换按钮。
-
根据您的偏好,启用 “将结果传输到外部存储” 或 “发送到 Webhook” 切换按钮。
第 2 步:在 Clay 中创建 API 请求工作流
Clay 允许您使用其用户友好的界面创建自动化工作流。要调用 Web Scraper API,请按照以下步骤操作:
-
登录 Clay:
-
登录到您的 Clay 账户。
-
进入 “Workflows(工作流)” 部分。
-
-
设置触发器:
- 选择触发工作流的方式(例如,手动、定时调度,或基于与 Clay 集成的其他服务中的事件)。
-
添加 HTTP 请求操作:
-
在工作流中添加一个 HTTP 请求模块。
-
选择 Web Scraper API 支持的 HTTP 方法(POST “触发数据采集”)。
-
-
配置请求:
-
在 HTTP 请求模块中输入以下内容:
-
URL:输入 API 端点(例如:https://api.brightdata.com/datasets/v3/trigger)。
-
Headers(请求头):包含所有必需的请求头,例如:
- Body(请求体)(如有需要):以 JSON 形式添加所有必要的参数。
-
-
测试请求:
- 使用 Clay 的测试工具发送测试请求,确保 Web Scraper API 返回预期数据。
第 3 步:在 Clay 中处理 API 响应
成功连接 Web Scraper API 后,您可以处理返回的数据:
-
与其他服务集成:
- 使用 Clay 将数据发送到数据库、Google Sheets、电子邮件或其他服务。
-
添加条件/逻辑:
- 在工作流中创建条件或过滤规则。例如,仅处理价格高于某个阈值的商品。
第 4 步:调度或部署您的工作流
您可以根据需要配置工作流,使其按照预定计划(如每小时或每天)自动运行,或者在需要时手动触发它。