本文将为您提供将 Clay 集成到 Bright Data 网络抓取 API 的信息。Clay 是一个强大的工具,用于管理和自动化工作流程。通过将您的 Web Scraper API 集成到 Clay,您可以:

  • 自动从目标网站抓取数据。

  • 在 Clay 工作流中处理和分析收集到的数据。

  • 通过 Clay 将抓取的数据流式传输到其他工具或服务。


前置条件

在开始之前,请确保以下事项:

  1. 访问 Clay:您必须拥有一个具有管理员权限的 Clay 账户。

  2. Web Scraper API 访问权限:您需要拥有 Bright Data API 令牌,包括身份验证详细信息、所需的端点以及请求/响应结构。


集成步骤

第 1 步:设置 Web Scraper API

  1. 从 Bright Data API 提供的多种选项中选择目标网站。

  2. 选择您需要的特定爬虫。

  3. 通过 JSON 或 CSV 更新所需的输入列表。

  4. 启用 “随结果包含错误报告” 切换按钮。

  5. 根据您的偏好,启用 “将结果传输到外部存储” 或 “发送到 Webhook” 切换按钮。


第 2 步:在 Clay 中创建 API 请求工作流

Clay 允许您使用其用户友好的界面创建自动化工作流。要调用 Web Scraper API,请按照以下步骤操作:

  1. 登录 Clay

    • 登录到您的 Clay 账户。

    • 进入 “Workflows(工作流)” 部分。

  2. 设置触发器

    • 选择触发工作流的方式(例如,手动、定时调度,或基于与 Clay 集成的其他服务中的事件)。
  3. 添加 HTTP 请求操作

    • 在工作流中添加一个 HTTP 请求模块。

    • 选择 Web Scraper API 支持的 HTTP 方法(POST 触发数据采集)。

  4. 配置请求

      {
          "Authorization": "Bearer YOUR_API_KEY",
          "Content-Type": "application/json"
      }
    
    • Body(请求体)(如有需要):以 JSON 形式添加所有必要的参数。
  5. 测试请求

    • 使用 Clay 的测试工具发送测试请求,确保 Web Scraper API 返回预期数据。

第 3 步:在 Clay 中处理 API 响应

成功连接 Web Scraper API 后,您可以处理返回的数据:

  1. 与其他服务集成

    • 使用 Clay 将数据发送到数据库、Google Sheets、电子邮件或其他服务。
  2. 添加条件/逻辑

    • 在工作流中创建条件或过滤规则。例如,仅处理价格高于某个阈值的商品。

第 4 步:调度或部署您的工作流

您可以根据需要配置工作流,使其按照预定计划(如每小时或每天)自动运行,或者在需要时手动触发它。