Clay 集成

本文将为您提供将 Clay 集成到 Bright Data 网络抓取 API 的信息。Clay 是一个强大的工具，用于管理和自动化工作流程。通过将您的 Web Scraper API 集成到 Clay，您可以：

• 自动从目标网站抓取数据。

• 在 Clay 工作流中处理和分析收集到的数据。

• 通过 Clay 将抓取的数据流式传输到其他工具或服务。

​

前置条件

在开始之前，请确保以下事项：

1. 访问 Clay：您必须拥有一个具有管理员权限的 Clay 账户。

2. Web Scraper API 访问权限：您需要拥有 Bright Data API 令牌，包括身份验证详细信息、所需的端点以及请求/响应结构。

​

集成步骤

​

第 1 步：设置 Web Scraper API

1. 从 Bright Data API 提供的多种选项中选择目标网站。

2. 选择您需要的特定爬虫。

3. 通过 JSON 或 CSV 更新所需的输入列表。

4. 启用 “随结果包含错误报告” 切换按钮。

5. 根据您的偏好，启用 “将结果传输到外部存储” 或 “发送到 Webhook” 切换按钮。

​

第 2 步：在 Clay 中创建 API 请求工作流

Clay 允许您使用其用户友好的界面创建自动化工作流。要调用 Web Scraper API，请按照以下步骤操作：

1. 登录 Clay：

   • 登录到您的 Clay 账户。

   • 进入 “Workflows（工作流）” 部分。

2. 设置触发器：

   • 选择触发工作流的方式（例如，手动、定时调度，或基于与 Clay 集成的其他服务中的事件）。

3. 添加 HTTP 请求操作：

   • 在工作流中添加一个 HTTP 请求模块。

   • 选择 Web Scraper API 支持的 HTTP 方法（POST “触发数据采集”）。

4. 配置请求：

   • 在 HTTP 请求模块中输入以下内容：

   • URL：输入 API 端点（例如：https://api.brightdata.com/datasets/v3/trigger）。

   • Headers（请求头）：包含所有必需的请求头，例如：

   Copy

     {
         "Authorization": "Bearer YOUR_API_KEY",
         "Content-Type": "application/json"
     }
   

   • Body（请求体）（如有需要）：以 JSON 形式添加所有必要的参数。

5. 测试请求：

   • 使用 Clay 的测试工具发送测试请求，确保 Web Scraper API 返回预期数据。

​

第 3 步：在 Clay 中处理 API 响应

成功连接 Web Scraper API 后，您可以处理返回的数据：

1. 与其他服务集成：

   • 使用 Clay 将数据发送到数据库、Google Sheets、电子邮件或其他服务。

2. 添加条件/逻辑：

   • 在工作流中创建条件或过滤规则。例如，仅处理价格高于某个阈值的商品。

​

第 4 步：调度或部署您的工作流

您可以根据需要配置工作流，使其按照预定计划（如每小时或每天）自动运行，或者在需要时手动触发它。