禁用 CAPTCHA 解决
默认情况下,作为我们完整的代理解封解决方案的一部分,Web Unlocker API 会自动解决在返回代理请求时遇到的 CAPTCHA。 禁用 CAPTCHA 解决后,我们的智能算法仍会处理整个不断变化的解封流程,包括选择最佳代理网络、定制 headers、指纹伪装等,但不会自动处理 CAPTCHA,从而为你提供一种轻量级、精简的方案,同时拓宽你的抓取使用场景。 最适合:- 需要抓取网站数据且不希望被封锁的团队
- 需要模拟真实用户浏览行为的场景
- 没有自建解封基础设施但不希望自动解决 CAPTCHA 的团队
如何开始?
如何开始?
要禁用 CAPTCHA 解决,请打开相关 zone 并进入 Configuration 标签,你会在其中看到 CAPTCHA Solver 开关。将其关闭即可禁用 CAPTCHA 解决。
Web Unlocker API Premium Domains
Premium domains 是 Bright Data 网站分级系统的一部分。这些网站比普通网站更难解封,需要额外的 Web Unlocker API 资源。 在本章节中,我们将展示当前的 Premium domains 列表、如何访问它们,以及相关的定价说明。Premium domains 列表每季度根据我们的分类逻辑更新。如果你的 Premium domains 有变化,我们会提前 30 天通过电子邮件通知你。你也可以随时在 Web Unlocker API zone 中查看最新列表。
当前 Premium Domains 列表
启用 Premium Domains
创建 Web Unlocker API zone 时,在 “Special features” 下勾选 Premium Domains 即可启用。
定价
启用后,Premium 定价会显示在 “Estimated cost” 区域。你可以查看 pricing page 获取具体价格。但请注意,显示的通常是 “Pay as you go” 方案的价格。如果你改为套餐或与销售沟通,可以享受较大折扣。即使启用 Premium Domains,只有访问这些 Premium 域名的请求才会按 Premium 价格计费。其他域名仍按默认较低价格计费。
地理位置定向 -country-country_code
若你想从特定国家进行 Web Unlocker API 请求,请参考 geolocation targeting。
移动端 User-Agent 定向 -ua-mobile
默认情况下,Web Unlocker API 使用桌面端的 User-Agent。如果你希望使用移动端 UA,只需在请求中添加 -ua-mobile 即可。
以 Markdown 格式抓取页面
Web Unlocker 能够将网页从 HTML 实时转换为 Markdown。这特别适合用作 LLM 训练数据。 启用方式:- 原生代理接口:添加
x-unblock-data-format: markdown - API 接口:设置
data_format: 'markdown'
返回截图
Web Unlocker 可以对你要抓取的页面进行截图,这可用于调试或监控页面视觉变化。 启用方式:- 原生代理接口:添加
x-unblock-data-format: screenshot - API 接口:设置
data_format: screenshot
.png
一次调用解锁带片段的 URL
使用 Web Unlocker API 解锁带片段的 URL(即被# 字符分隔的 URL)。
使用 REST API
直接提供带片段的 URL,Bright Data Web Unlocker API 会自动处理并获取结果。由于需要额外的处理和获取步骤,响应时间可能会稍长。 示例:使用原生 API
为此提供了一个专用标头:x-unblock-url-fragment。在请求中传递该标头,并在其中填写 URL 片段。
示例:
使用浏览器强制渲染 JavaScript
在请求中添加render 参数,即可让 Web Unlocker API 使用浏览器强制渲染 JavaScript。该参数会强制使用浏览器,响应时间可能明显增加,因此请仅在必要时少量使用。
自定义 Web Unlocker API
通过更灵活的选项,你可以手动调整请求行为,以获得更高的控制力和优化的抓取流程。 默认情况下,Web Unlocker API 会自动处理所有请求 headers、cookies、expect 元素等,以确保最佳解封结果。附加的 headers/cookies 会被忽略。 启用自定义 Web Unlocker API 后,你可以覆盖自动参数,并根据你的需求发送自定义值。可用的自定义功能有哪些
如何启用
进入控制面板 → 选择你的 Web Unlocker API zone → Configuration → Advanced Settings,启用你需要的自定义功能。
启用自定义功能后计费如何变化
不同于普通 Web Unlocker API 仅为成功请求计费,启用任何自定义功能后,所有请求(成功 + 失败)都会计费。 原因是你现在控制部分参数,Bright Data 无法对解封流程与效果提供完整保障。手动 headers & cookies
你可以覆盖自动生成的 headers/cookies,并发送自定义值,以针对网站的特定版本。启用 Custom Headers & Cookies 会带来以下变化:
所有请求将计费
所有请求将计费
启用此功能后,所有请求(成功与失败)都会计费,因为 Bright Data 无法完全控制解封流程。
手动 expect 元素
如果你收到部分渲染或加载不完整的页面,可以使用x-unblock-expect header 让 Web Unlocker API 等待特定元素(如 CSS selector)、文本或页面内容加载完成后再返回结果。
你可以在请求中使用 x-unblock-expect 进行配置。
添加 header
Amazon 专用地理位置头
Web Unlocker API 允许您传递自定义头,以模拟用户选择的 Amazon 城市和邮政编码,从而访问区域特定的内容、价格和配送选项。x-unblock-city- 模拟选择城市。x-unblock-zipcode- 模拟在 Amazon 上选择邮政编码。
监控 Web Unlocker API 使用情况
要查看您当前的 Web Unlocker API CPM,请导航到 我的代理 页面,并查看 Traffic 列。
使用情况说明
上图流量列中显示的数字是 成功请求 的数量。在上例中,115k 请求等于 115 CPM,因此您将根据该计费周期的 10 CPM 费率进行计费。使用量如何计算?
您的 Web Unlocker API 使用量按 CPM 计量。CPM 是 1000 个 成功请求 的成本,这意味着只有成功的 Web Unlocker API 请求才会计入计费。 更多信息,请参阅我们的 计费与价格 页面。调试 Web Unlocker API
有时提取请求的调试信息有助于更详细地了解请求内部发生的情况。 我们提供了x-brd-debug 响应头用于此目的。
启用方式取决于你使用的访问类型,即你在区域的 Playground 中看到的 Native / API 选项:
对于异步请求,请在向
/unblocker/req 发起的提交调用中设置 "debug": true。随后在你获取响应时,x-brd-debug 头会由 /unblocker/get_result 返回。提交时未带该标志的请求,在获取结果时不会返回调试头。
此功能仅适用于 Web Unlocker API,不适用于我们的代理产品。
x-brd-debug 头的格式如下:
常见错误代码
在某些情况下,您可能会因为多种原因在 Web Unlocker API 请求中收到意外的错误代码。 以下列表将帮助您更深入地理解问题可能的来源。联系支持获取进一步帮助
联系支持获取进一步帮助
如果您在使用 Web Unlocker API 时遇到问题,在向我们报告之前,请先按照以下说明和提示进行测试:
- 打开控制面板中的 ‘API & 示例’
- 选择
curl和您的 Web Unlocker API zone - 在 ‘URL’ 框中粘贴目标 URL
- 使用右侧按钮复制
- 在命令中添加
-v -o test(将开启详细日志,并生成名为 ‘test’ 的输出文件,以便与支持人员共享) - 运行命令并检查输出(确保也检查静态 HTML 源码以获取数据)
- 您用于生成结果的
curl请求 - 运行命令的完整详细输出
- 返回的响应(即 ‘test’ 文件)
- 您是否使用浏览器自动化工具(Web Unlocker API 不支持此类工具或任何第三方集成,仅支持您自己的代码)。
获取每个域名的成功率统计
Web Unlocker API 成功率端点针对您发往某个域名的请求返回两项数据:成功率(取值为 0 到 1 之间的数字)和time_p90,即第 90 百分位响应时间(单位为毫秒)。默认统计窗口为过去 7 天。
注意:调用此 API 端点需要使用您的 API 密钥
完整的参数与响应参考:Web Unlocker API 成功率。
端点接受哪些输入?
三个查询参数均为可选,可以单独使用,也可以组合使用。
响应包含哪些内容?
- 每个域名一个键,值为成功率。
0.9639表示 96.39% 的请求成功。 - 一个
time_p90键,值为统计窗口内请求的 p90 响应时间,单位为毫秒。通配符查询同样只返回一个time_p90,而不是每个域名一个。
time_p90 为 3347.98 表示 90% 的请求在 3,348 毫秒(约 3.3 秒)内完成,最慢的 10% 请求耗时更长。请将客户端超时时间设置为高于 time_p90 的值,确保至少 90% 的请求能够完成。
当没有请求与查询匹配时,端点返回 HTTP 200 和空对象 {}。
如何获取单个域名的统计数据?
/ip/ 的 example.com 请求的统计数据:
example.*。以下响应已缩减为五个域名:
*.example.com。通配符可以与查询参数(例如 url_pattern)组合使用:
time_p90 键。
对大型域名或较长时间窗口的查询可能需要 60 秒以上才能返回。请将 HTTP 客户端超时时间设置为至少 120 秒,并逐个发送查询。
- 选择数据获取的最佳时机:如果您需要按时间分批获取完整数据,而非实时获取,成功率可以帮助您规划各批次的时间。
- 优化抓取:根据页面 URL 模式和响应时间调整超时设置。目标网站中的某些页面可能需要更长的解锁时间,您可以据此调整操作。
- 优化自定义 Cookie 和请求头:如果使用自定义 Cookie 发送的请求成功率低于平均水平,您可能需要调整 Cookie 和请求头数据,使成功率达到平均水平。