Skip to main content
向 Bright Data Scraper API 发送一个请求,即可获得结构化 JSON。 本指南抓取一个亚马逊商品页面。同样的调用适用于 Bright Data 数千个预构建抓取器中的每一个:通过 HTTP 更换 dataset_id,或在 SDK 中调用不同的方法。

前提条件

  • 一个 Bright Data 账户。新账户每月获得 5,000 个免费信用额度,无需信用卡
  • 以下任意一项:
    • cURL
    • Python 3.9+ 以及 Bright Data Python SDK:pip install brightdata-sdk
    • Node.js 20+ 以及 Bright Data JavaScript SDK:npm install @brightdata/sdk

抓取第一个页面

1

获取 API 密钥

新账户会在 Bright Data 欢迎邮件中收到一个 API 密钥。本指南使用该密钥。如果您已找不到那封邮件,请打开账户设置并点击 Add API key 创建新密钥。只有管理员可以创建 API 密钥。
Bright Data API 密钥仅在创建时显示一次。已有密钥之后无法以明文查看,因此请在密钥出现时立即复制并妥善保存。如果密钥丢失,请创建新密钥,而不要试图找回旧密钥。
同一个密钥适用于所有 Bright Data 产品,因此这是本指南中唯一的凭证步骤。
2

发送请求

该请求会抓取一个亚马逊商品页面。将 YOUR_API_KEY 替换为您的 API 密钥后直接运行。您应当看到打印出的商品 JSON。处理时间取决于目标网站状况和爬虫负载。同步请求最多等待 1 分钟,之后返回 snapshot_id,采集将继续以异步方式进行。
3

读取响应

Bright Data Scraper API 返回一个包含结构化商品数据的 JSON 数组。Python SDK 通过 result.data 暴露该数组;JavaScript SDK 直接返回该数组:
完整记录包含 64 个字段,涵盖变体、配送、buybox 价格和买家评论主题。参见完整响应架构
至此,您已经完成了一次可用的 Bright Data 集成。

如何抓取其他网站

通过 HTTP 调用时,每个抓取器都有自己的 dataset_id:更换该值和输入 URL,请求的其余部分保持不变。使用 SDK 时,改为调用对应的方法。 JavaScript SDK 使用同样的方法树,但名称带 collect 前缀,例如 scrape.amazon.collectProducts。完整方法列表:Python SDKJavaScript SDK Bright Data 维护着数千个预构建抓取器,覆盖各类热门网站。完整库请浏览抓取器概览,完整的数据集 ID 表格参见异步请求

如果没有预构建抓取器覆盖我的网站怎么办

使用 Bright Data Scraper Studio 构建一个。传入目标 URL 和一句描述所需数据的说明,AI Agent 就会生成输出架构并编写抓取器代码。生成通常需要 5 到 15 分钟,复杂目标最多需要 25 分钟。 Scraper Studio 快速开始完整演示了从 bdata scraper create 到在您自己的代码中触发已发布抓取器的全过程。偏好无代码方式?可在控制面板中使用 AI Agent 构建同样的抓取器。

如何扩展到单个 URL 以上

上面的请求是同步的:一次调用,一次响应,最多 20 个 URL。面向生产规模时,请改用异步 /trigger 端点,它除每个任务 1 GB 输入外没有 URL 数量上限,并返回 snapshot_id 而非记录。 与其轮询该 snapshot_id,不如让 Bright Data 在任务完成时将结果推送到 webhook、Amazon S3、Google Cloud Storage、Azure 或 Snowflake。完整的触发、轮询与下载流程参见异步请求,可用目标参见交付选项

常见问题

当目标网站已有预构建抓取器时使用 Scraper API,大多数热门网站都属于这种情况。当没有预构建抓取器,或您希望自己掌控抓取逻辑时,使用 Scraper Studio。两者返回相同的结构化输出,并运行在同一套基础设施上。完整对比参见选择产品
401 表示 API 密钥被拒绝:响应正文会指出具体情形。403 则不同,密钥有效但缺少该产品或该 zone 的权限。参见身份验证指南
同步请求有 1 分钟超时。超过该时限时,Bright Data Scraper API 会自动切换为异步模式并返回 snapshot_id 而非记录。请使用该 ID 走异步流程
可以。将 format 查询参数设置为 csvndjson。默认值是 json
会。新账户每月获得 5,000 个免费信用额度,无需信用卡,并从多个适用产品共享的同一个额度池中扣除。参见免费套餐

后续步骤

面向您的编码智能体

为 Claude Code、Cursor 或 Codex 配置技能、MCP Server 与 llms.txt。

选择产品

抓取搜索引擎、解封页面还是运行浏览器?将您的目标匹配到合适的产品。

扩展到生产规模

批量处理不限数量的 URL,监控快照,并将结果交付到您的数据仓库。