dataset_id,或在 SDK 中调用不同的方法。
前提条件
- 一个 Bright Data 账户。新账户每月获得 5,000 个免费信用额度,无需信用卡
- 以下任意一项:
- cURL
- Python 3.9+ 以及 Bright Data Python SDK:
pip install brightdata-sdk - Node.js 20+ 以及 Bright Data JavaScript SDK:
npm install @brightdata/sdk
抓取第一个页面
1
获取 API 密钥
新账户会在 Bright Data 欢迎邮件中收到一个 API 密钥。本指南使用该密钥。如果您已找不到那封邮件,请打开账户设置并点击 Add API key 创建新密钥。只有管理员可以创建 API 密钥。同一个密钥适用于所有 Bright Data 产品,因此这是本指南中唯一的凭证步骤。
2
发送请求
该请求会抓取一个亚马逊商品页面。将
YOUR_API_KEY 替换为您的 API 密钥后直接运行。您应当看到打印出的商品 JSON。处理时间取决于目标网站状况和爬虫负载。同步请求最多等待 1 分钟,之后返回 snapshot_id,采集将继续以异步方式进行。3
读取响应
Bright Data Scraper API 返回一个包含结构化商品数据的 JSON 数组。Python SDK 通过 完整记录包含 64 个字段,涵盖变体、配送、buybox 价格和买家评论主题。参见完整响应架构。
result.data 暴露该数组;JavaScript SDK 直接返回该数组:如何抓取其他网站
通过 HTTP 调用时,每个抓取器都有自己的dataset_id:更换该值和输入 URL,请求的其余部分保持不变。使用 SDK 时,改为调用对应的方法。
JavaScript SDK 使用同样的方法树,但名称带
collect 前缀,例如 scrape.amazon.collectProducts。完整方法列表:Python SDK、JavaScript SDK。
Bright Data 维护着数千个预构建抓取器,覆盖各类热门网站。完整库请浏览抓取器概览,完整的数据集 ID 表格参见异步请求。
如果没有预构建抓取器覆盖我的网站怎么办
使用 Bright Data Scraper Studio 构建一个。传入目标 URL 和一句描述所需数据的说明,AI Agent 就会生成输出架构并编写抓取器代码。生成通常需要 5 到 15 分钟,复杂目标最多需要 25 分钟。 Scraper Studio 快速开始完整演示了从bdata scraper create 到在您自己的代码中触发已发布抓取器的全过程。偏好无代码方式?可在控制面板中使用 AI Agent 构建同样的抓取器。
如何扩展到单个 URL 以上
上面的请求是同步的:一次调用,一次响应,最多 20 个 URL。面向生产规模时,请改用异步/trigger 端点,它除每个任务 1 GB 输入外没有 URL 数量上限,并返回 snapshot_id 而非记录。
与其轮询该 snapshot_id,不如让 Bright Data 在任务完成时将结果推送到 webhook、Amazon S3、Google Cloud Storage、Azure 或 Snowflake。完整的触发、轮询与下载流程参见异步请求,可用目标参见交付选项。
常见问题
我该用 Scraper API 还是 Scraper Studio?
我该用 Scraper API 还是 Scraper Studio?
当目标网站已有预构建抓取器时使用 Scraper API,大多数热门网站都属于这种情况。当没有预构建抓取器,或您希望自己掌控抓取逻辑时,使用 Scraper Studio。两者返回相同的结构化输出,并运行在同一套基础设施上。完整对比参见选择产品。
为什么我收到 401 或 403?
为什么我收到 401 或 403?
401 表示 API 密钥被拒绝:响应正文会指出具体情形。403 则不同,密钥有效但缺少该产品或该 zone 的权限。参见身份验证指南。我的请求超时了,发生了什么?
我的请求超时了,发生了什么?
同步请求有 1 分钟超时。超过该时限时,Bright Data Scraper API 会自动切换为异步模式并返回
snapshot_id 而非记录。请使用该 ID 走异步流程。可以返回 CSV 而不是 JSON 吗?
可以返回 CSV 而不是 JSON 吗?
可以。将
format 查询参数设置为 csv 或 ndjson。默认值是 json。这会消耗信用额度吗?
这会消耗信用额度吗?
会。新账户每月获得 5,000 个免费信用额度,无需信用卡,并从多个适用产品共享的同一个额度池中扣除。参见免费套餐。
后续步骤
面向您的编码智能体
为 Claude Code、Cursor 或 Codex 配置技能、MCP Server 与 llms.txt。
选择产品
抓取搜索引擎、解封页面还是运行浏览器?将您的目标匹配到合适的产品。
扩展到生产规模
批量处理不限数量的 URL,监控快照,并将结果交付到您的数据仓库。