工作原理
你向 Bright Data Fetch API 发送一个或多个 URL。Bright Data 获取每个网页,并为每个 URL 返回一条记录,其中包含所有输出格式。dataset_id gd_m6gjtfmeh43we6cqc,并以 NDJSON(默认)、JSON、JSON lines、CSV 和 Parquet 格式返回结果。见输出格式。
响应内容示例
Bright Data Fetch API 于 2026 年 10 月 19 日为https://example.com 返回的单条记录。可在快速开始中亲自发送该请求。
page_html 值已截断。示例网页没有 JSON-LD,因此记录中没有 ld_json 字段。
Fetch API 返回哪些格式?
Markdown
markdown 保留标题、列表和链接,可直接用于 LLM 提示词或 RAG 索引。纯文本
html2text 去除所有 HTML 标签,只保留可见文本。原始 HTML
page_html 是完整的 HTML 源代码,包括标签、脚本和样式。JSON-LD
ld_json 包含网页的 schema.org 结构化元数据(如网页提供)。url、final_url(重定向后的 URL)、page_title 和 country。
使用哪个数据集 ID
Fetch API 只有一个端点:按 URL 采集。每个请求都需要将该 ID 作为查询参数传入。请求方式
Bright Data Scraper API 支持两种请求方式,请根据您的数据量和延迟需求选择。
详见了解同步与异步请求。
两个端点都接受带
input 数组的对象,可附加 limit_per_input 和 custom_output_fields,在 /trigger 上还可附加 deliver 配置。也接受由输入组成的纯 JSON 数组,本页示例使用此格式。详见请求体。
功能与限制
常见问题
Fetch API 与 Web Unlocker API 有什么区别?
两者都能解锁任意公开网页,区别在于调用方式和返回内容:- Web Unlocker API 通过
/request和 Web Unlocker 区域调用,返回目标网页的原始响应,可以原样返回或封装在 JSON 中。 - Fetch API 通过
/datasets/v3/scrape或/datasets/v3/trigger和dataset_id调用,无需区域。每个 URL 返回一条记录,同时包含 Markdown、纯文本、原始 HTML 和 JSON-LD,并支持 Scraper API 的批量任务和交付选项。
网页是实时获取的吗?
是的。每个请求都会获取实时网页,不使用缓存副本。同步请求最多等待 1 分钟,之后返回 HTTP202 和 snapshot_id,并以异步方式继续。处理时间取决于目标网站的情况,因此 Bright Data Fetch API 不公布固定的响应时间。
Fetch API 适用于哪些网站?
Fetch API 接受任意域名下的任意公开 URL。它不像 Instagram 或 Amazon 爬虫那样绑定某个平台,也不会解析价格、粉丝数等特定网站的字段。如果需要将这些字段作为结构化 JSON 获取,请使用平台爬虫。后续步骤
快速开始
5 分钟内以 Markdown 获取第一个网页。
端点
国家定位、字段选择和批量请求。
API 参考
端点规范、参数和响应结构。