网络Web Unlocker最佳实践 API

​

概述

使用网络Web Unlocker时，精准定位产品或其他页面的特定API端点是高效提取所需数据的常用策略。大多数情况下，网络Web Unlocker都能成功访问这些API端点。 然而，API端点有时可能很难解锁，而您仍需访问相关主页才能抓取所需数据。

​

API端点定位最佳实践

​

直接访问API

首先，尝试使用网络Web Unlocker直接定位API端点。 该方法在大多数情况下都能立即使用。

​

API解锁失败后的其他抓取途径

如果无法直接定位API端点，请转而访问API所采集数据的原始网页。 网络 Web Unlocker API 可高效访问并解锁这些网页上的数据。 这可确保您在没有直接访问API的情况下仍能检索到必要的信息。

​

利用Scraping Browser处理复杂案例

如果直接访问API端点至关重要且其他方法成效不大，则可以使用我们的Scraping Browser。

使用Scraping Browser加载网页，并在前端发起的API调用中设置请求拦截，即可读取所需的API响应。

​

我能否将网络Web Unlocker与浏览器（例如Chrome）或浏览器自动化库（例如Puppeteer、Playwright、Selenium）一起使用？

不能。 您不应将网络Web Unlocker与浏览器（例如Chrome、Firefox、Edge）、反检测浏览器（例如Adspower、Multilogin）或浏览器自动化库（例如Puppeteer、Playwright、Selenium）一起使用。

网络Web Unlocker已经过优化，无需交互即可从网站抓取数据，专注于为单一请求提供干净的HTML/JSON响应，同时管理代理和解锁基础架构。

直接在浏览器上使用网络Web Unlocker通常没有效果，即使有效果，也可能导致不必要的成本增加。

如果确实需要与网页交互，您有以下几种选择：

• 对于常规浏览器（例如Chrome、Firefox、Edge）和 反检测浏览器（例如Adspower、Multilogin），您应该使用我们的代理网络（数据中心、ISP、移动、住宅）。这些产品的集成指南参见此处：代理集成 (brightdata.com)

• 对于浏览器自动化库（例如Puppeteer、Playwright、Selenium），您可以使用代理网络；但更好的解决方案是Scraping Browser产品。这类产品提供与网络Web Unlocker类似的解锁功能，但设计用于与浏览器自动化无缝协作。有关Scraping Browser的更多信息，请访问：Scraping Browser简介 - Bright Data文档: https://docs.brightdata.com/scraping-automation/scraping-browser/introduction