数据抓取工具控制面板

无论是使用模板创建的抓取工具,还是自定义的抓取工具,都将显示数据抓取工具的控制面板上。

概述

  • 免费试用: 在 7 天免费试用期间,您可享受 1,000 次页面加载服务。
  • 可用更新: 提示有新版抓取工具可用。如未显示”更新“按钮,则说明您使用的是最新版本。
  • 属性: 您可在此处查看所有抓取工具的属性。了解更多
  • 交付首选项: 选择所需文件格式、交付方式,并进行通知设置。了解更多
  • 输出配置/ 架构: 您可返回此处编辑输出定义。

抓取工具操作菜单

抓取工具操作菜单让您可以使用抓取工具执行不同的操作。

  • 通过 API 启动 - 无需进入控制面板即可开始数据采集
  • 手动启动 - Bright Data 的控制面板使您可以轻松开始采集数据
  • 按计划运行 - 精确选择何时采集所需数据
  • 版本 - 查看抓取工具的修改版本
  • 报告问题 - 您可以使用此表单来沟通您在平台、抓取工具或数据集结果方面遇到的任何问题
  • 复制链接 - 复制抓取工具的链接与同事共享
  • 工单 - 查看您的工单状态
  • 高级选项:
    • 编辑代码 - 在 IDE 中编辑抓取工具的代码。
    • 禁用抓取工具 - 暂时禁用抓取工具,但是如果需要,您可以将其重新激活。
    • 删除抓取工具 - 永久删除抓取工具。


属性:

  • 抓取工具的维护者:
    • 自助服务:抓取工具由您自己维护
    • 全套服务:抓取工具由 Bright Data 数据开发人员维护
  • 抓取工具的类型:
    • 搜索型:抓取工具的输入参数是一个关键字(例如 iPhone)
    • PDP:抓取工具的输入参数是产品页面 URL
    • 发现型:抓取工具的输入参数是类别 URL
    • 其他
  • 抓取工具的用例(社交媒体、电子商务、旅行网站等)
  • 上次修改时间:表示上次更新抓取工具的时间
  • CPM 价格:1 CPM = 1,000 次页面加载。
  • 平均每次输入 的页面加载次数:处理 1 个输入集所需的平均页面加载次数

启动抓取工具并获得采集结果

启动抓取工具

您可通过以下三种方式启动数据采集,按需选择其中一种即可:

A. 通过 API 启动
B. 手动启动
C. 定时启动抓取工具

获取采集结果

数据采集完成后,点击“三个点”图标并选择“统计信息”,即可访问结果并下载数据。

无法下载实时作业输入和输出数据,因为相关数据并不存储在我们的服务端

统计信息

“统计信息”页面会提供一些基本信息,以显示数据采集工作的成功情况。 以下是统计信息表中包含的各种术语列表:

统计信息操作菜单

  • 三个点 您可通过此图标对数据采集作业执行各种功能: “统计信息”页面会提供一些基本信息,以显示数据采集工作的成功情况。 以下是统计信息表中包含的各种术语列表:

  • 作业 ID - 采集任务的唯一 ID
  • 触发因素 - 启动数据采集的人员和方式(API 启动,手动启动或定时启动)
  • 输入 - 采集请求中键入的输入参数量
  • 记录 - 采集到的结果数
  • 失败 - 抓取失败的页面数
  • 成功率 - 成功采集到的结果的占比
  • 排队时间 - 队列时间戳
  • 开始时间 - 抓取工具开始采集的日期和时间
  • 完成时间 - 抓取工具完成采集的日期和时间
  • 作业时间 - 完成作业所耗费的时间长度
  • 预计剩余时间 - 距离采集完成的剩余时间
  • 队列 - 触发行为中给定的作业名称(队列名称)
  • 用量 - 所用的页面加载总次数