Skip to main content
发送任意公开 URL,即可在一条记录中获得该网页的 Markdown、纯文本、原始 HTML 和 JSON-LD。Fetch API(原 Crawl API)是 Web Unlocker API 在 Scraper API 中的对应产品:Bright Data 处理代理、CAPTCHA 和封锁,Fetch API 返回可直接用于 LLM 或解析器的网页内容。
初次使用 Bright Data?创建免费账户,即可每月获得 5,000 个免费积分,无需信用卡。请参阅免费套餐。

工作原理

你向 Bright Data Fetch API 发送一个或多个 URL。Bright Data 获取每个网页,并为每个 URL 返回一条记录,其中包含所有输出格式。
每个请求都使用 Fetch API 的 dataset_id gd_m6gjtfmeh43we6cqc,并以 NDJSON(默认)、JSON、JSON lines、CSV 和 Parquet 格式返回结果。见输出格式。

响应内容示例

Bright Data Fetch API 于 2026 年 10 月 19 日为 https://example.com 返回的单条记录。可在快速开始中亲自发送该请求。
此处的 page_html 值已截断。示例网页没有 JSON-LD,因此记录中没有 ld_json 字段。

Fetch API 返回哪些格式?

Markdown

markdown 保留标题、列表和链接,可直接用于 LLM 提示词或 RAG 索引。

纯文本

html2text 去除所有 HTML 标签,只保留可见文本。

原始 HTML

page_html 是完整的 HTML 源代码,包括标签、脚本和样式。

JSON-LD

ld_json 包含网页的 schema.org 结构化元数据(如网页提供)。
每条记录还包含 url、final_url(重定向后的 URL)、page_title 和 country。

使用哪个数据集 ID

Fetch API 只有一个端点:按 URL 采集。每个请求都需要将该 ID 作为查询参数传入。

请求方式

Bright Data Scraper API 支持两种请求方式,请根据您的数据量和延迟需求选择。 详见了解同步与异步请求。 两个端点都接受带 input 数组的对象,可附加 limit_per_input 和 custom_output_fields,在 /trigger 上还可附加 deliver 配置。也接受由输入组成的纯 JSON 数组,本页示例使用此格式。详见请求体。

功能与限制

常见问题

Fetch API 与 Web Unlocker API 有什么区别?

两者都能解锁任意公开网页,区别在于调用方式和返回内容:
  • Web Unlocker API 通过 /request 和 Web Unlocker 区域调用,返回目标网页的原始响应,可以原样返回或封装在 JSON 中。
  • Fetch API 通过 /datasets/v3/scrape 或 /datasets/v3/trigger 和 dataset_id 调用,无需区域。每个 URL 返回一条记录,同时包含 Markdown、纯文本、原始 HTML 和 JSON-LD,并支持 Scraper API 的批量任务和交付选项。

网页是实时获取的吗?

是的。每个请求都会获取实时网页,不使用缓存副本。同步请求最多等待 1 分钟,之后返回 HTTP 202 和 snapshot_id,并以异步方式继续。处理时间取决于目标网站的情况,因此 Bright Data Fetch API 不公布固定的响应时间。

Fetch API 适用于哪些网站?

Fetch API 接受任意域名下的任意公开 URL。它不像 Instagram 或 Amazon 爬虫那样绑定某个平台,也不会解析价格、粉丝数等特定网站的字段。如果需要将这些字段作为结构化 JSON 获取,请使用平台爬虫。

后续步骤

快速开始

5 分钟内以 Markdown 获取第一个网页。

端点

国家定位、字段选择和批量请求。

API 参考

端点规范、参数和响应结构。