前置条件
- 一个 Bright Data 账户
- 已安装 cURL、Python 3.9+ 或 Node.js 18+
1
获取您的 API 密钥
前往 Bright Data 账户的用户设置页面并创建一个 API 密钥,或使用已有的密钥。如果您还没有账户,请在 bright.cn 注册。新账户每月可获得 5,000 个免费积分,无需信用卡。请参阅免费套餐。
2
发送请求
我们将使用按 URL 采集端点,通过同步请求获取 您应该会看到
https://example.com。将 YOUR_API_KEY 替换为您的 API 密钥:200 状态码和一个包含一条记录的 JSON 数组。202 表示获取需要超过 1 分钟,请参阅下方说明。处理时间取决于目标网站的情况。同步请求最多等待 1 分钟。如果 Bright Data Fetch API 需要更长时间,响应将是 HTTP
202 和 snapshot_id,而不是网页数据,采集会以异步方式继续。可通过异步工作流获取结果,或通过 webhook 交付推送给您。3
查看响应
Bright Data Fetch API 返回一个 JSON 数组,每个 URL 对应一条记录:此处的
page_html 值已截断。markdown 适合用于 LLM 提示词,html2text 适合纯文本,需要完整源代码时使用 page_html。请查看完整响应结构。常见问题
我可以在一个请求中获取多个 URL 吗?
可以。向输入数组添加更多对象即可,这些 URL 可以属于不同域名。Bright Data 建议每个同步请求不超过 20 个 URL,这是最佳实践,而非硬性限制。对于更大的批处理,请使用异步/trigger 端点。
收到 401 或 403 错误?
请验证您的 API 密钥是否正确且未过期。可在账户设置中创建新密钥。有关详细信息,请参阅身份验证指南。请求超时?
同步请求有 1 分钟的超时限制。如果请求超过此限制,API 返回 HTTP202 和 snapshot_id,并以异步方式完成任务。对于大批量处理,请使用异步工作流。
为什么记录中缺少某个字段?
没有值的字段可能不会出现在记录中。例如,当网页没有 JSON-LD 元数据时,记录中不包含ld_json。请确认该 URL 可公开访问,并且能在浏览器中打开。
后续步骤
端点
国家定位、字段选择和批量请求。
异步批量请求
在单个批处理作业中获取数百个 URL。
设置 Webhooks
在获取完成时自动接收结果。