如何避免被 Cloudflare 或 Cloudflare Turnstile 阻挡?
如何避免被 Cloudflare 或 Cloudflare Turnstile 阻挡?
若要抓取使用 Cloudflare 或 Cloudflare Turnstile 的网站,我们建议使用 Unlocker API 或 Browser API。这两种方案会使用不同的方式,例如 CAPTCHA 解决、自定义指纹及请求头等,可以轻松绕过 Cloudflare。若你只需要从网站
GET HTML,而不需要在页面中执行任何互动操作,建议使用 Unlocker API。若你需要在页面执行互动(例如填写表单、点击按钮等),建议使用 Browser API。无论选择哪种方案,即使页面使用 Cloudflare 或 Cloudflare Turnstile,你仍然可以成功获取所需信息。如何避免被 Datadome 阻挡?
如何避免被 Datadome 阻挡?
若要抓取使用 Datadome 的网站,我们建议使用 Unlocker API 或 Browser API。这两种方案会使用不同的方式,例如 CAPTCHA 解决、自定义指纹及请求头等,可以轻松绕过 Datadome。若你只需要从网站
GET HTML,而不需要在页面执行互动操作,建议使用 Unlocker API。若你需要互动(例如点击、滚动、悬停等),则建议使用 Browser API。无论使用哪种方案,即使目标网站使用 Datadome,你仍能获取所需内容。哪些网站被归类为高级域名(Premium Domains)?
哪些网站被归类为高级域名(Premium Domains)?
如何在 Unlocker API 中启用 JavaScript 渲染?
如何在 Unlocker API 中启用 JavaScript 渲染?
如果你需要 Unlocker API 通过 JavaScript 渲染网页,应使用以下功能:
Manual Expect Elements此功能可确保 Unlocker API 返回的内容包含你需要渲染的页面部分。若你的使用场景需要在页面执行互动(点击、滚动、悬停等),则应改用
Browser API。
Manual Expect Elements此功能可确保 Unlocker API 返回的内容包含你需要渲染的页面部分。若你的使用场景需要在页面执行互动(点击、滚动、悬停等),则应改用
Browser API。
使用 Unlocker API、SERP API 或 Browser API 时,在哪里可以查看我的公共 IP?
使用 Unlocker API、SERP API 或 Browser API 时,在哪里可以查看我的公共 IP?
这些产品所使用的公共 IP 对用户不可见。Unlocker API、SERP API 和 Browser API 使用动态 IP 池,其中包含真实的住宅 IP。为确保合规与隐私,这些 IP 会隐藏并不断轮换,以保持匿名性并优化解封效果。你可以通过以下测试 URL 查看有关 IP 的其他元数据,例如国家、ASN 和城市:
http://lumtest.com/myip.json注意: 返回内容中不会包含 IP 字段。我该如何抓取特定网站?
我该如何抓取特定网站?
若要抓取特定网站,请按以下步骤操作:
- 选择适合你的产品: Bright Data 提供 Web Scraper IDE、Web Scraper API 和 Custom Scrapers 等工具,可根据你的目标网站及需求进行选择。
-
搜索目标站点模板:
使用 Web Scraper API 时,可以搜索流行网站的预构建模板,从而快速开始抓取。 -
自定义或构建你的 Scraper:
- 若目标网站没有现成模板,可使用 Web Scraper IDE 创建自定义 Scraper,或使用 Custom Scrapers 让我们为你构建。
- 使用编辑器编写脚本或基于现有模板修改以满足需求。
-
测试并执行 Scraper:
在 Bright Data 平台内运行 Scraper 获取数据,并使用 IDE 调试功能进行优化。 -
导出数据:
完成抓取后,你可以以 JSON、CSV 或 Excel 格式导出数据,用于分析或集成。