跳转到主要内容
若要抓取使用 Cloudflare 或 Cloudflare Turnstile 的网站,我们建议使用 Unlocker APIBrowser API这两种方案会使用不同的方式,例如 CAPTCHA 解决、自定义指纹及请求头等,可以轻松绕过 Cloudflare。若你只需要从网站 GET HTML,而不需要在页面中执行任何互动操作,建议使用 Unlocker API若你需要在页面执行互动(例如填写表单、点击按钮等),建议使用 Browser API无论选择哪种方案,即使页面使用 Cloudflare 或 Cloudflare Turnstile,你仍然可以成功获取所需信息。
若要抓取使用 Datadome 的网站,我们建议使用 Unlocker APIBrowser API这两种方案会使用不同的方式,例如 CAPTCHA 解决、自定义指纹及请求头等,可以轻松绕过 Datadome。若你只需要从网站 GET HTML,而不需要在页面执行互动操作,建议使用 Unlocker API若你需要互动(例如点击、滚动、悬停等),则建议使用 Browser API无论使用哪种方案,即使目标网站使用 Datadome,你仍能获取所需内容。
高级域名是指由于解封难度较高、需要额外 Unlocker API 资源的网站。查看关于高级域名及价格的更多信息。

高级域名列表

高级域名列表按季度更新,我们会在更新前 30 天通过邮件通知你。你随时可以在你的 Unlocker API Zone 中查看最新列表。
advanceautoparts.comgiantfoodstores.comrealcanadiansuperstore.ca
affitto.itgopuff.comrealestate.com.au
agoda.cngplay.bgrestaurantguru.com
albertsons.comhermes.comsearchpeoplefree.com
allpeople.comhyatt.comshopee.cl
autozone.comidealo.deshopee.co.id
bestbuy.comimmobilienscout24.deshopee.co.th
bestwestern.comingatlan.comshopee.com.br
billiger.deinstacart.comshopee.com.co
bottlerover.comintersport.frshopee.com.mx
carousell.comjoann.comshopee.com.my
carousell.com.hkkroger.comshopee.ph
carousell.com.mylazada.co.idshopee.sg
carousell.phlazada.co.thshopee.tw
carousell.sglazada.com.myshopee.vn
carsales.com.aulazada.com.phsimilarweb.com
cdiscount.comlazada.sgskyscanner.co.kr
chewy.comlazada.vnskyscanner.net
costco.comlowes.castopandshop.com
cvs.comlowes.comtarget.com
despegar.com.mxmcmaster.comtemu.com
dickssportinggoods.commediamarkt.deticketmaster.com
dynos.esmediamarkt.estotalwine.com
emaxme.commedline.comtractorsupply.com
familytreenow.commscdirect.comwalmart.com.mx
feuvert.frnapaonline.comwayfair.com
flooranddecor.comnofrills.caweismarkets.com
foodlion.compeoplefinders.comwizzair.com
footlocker.co.ukplatt.comworten.pt
footlocker.compublicdatausa.com
如果你需要 Unlocker API 通过 JavaScript 渲染网页,应使用以下功能:
Manual Expect Elements
此功能可确保 Unlocker API 返回的内容包含你需要渲染的页面部分。若你的使用场景需要在页面执行互动(点击、滚动、悬停等),则应改用
Browser API
这些产品所使用的公共 IP 对用户不可见。Unlocker API、SERP API 和 Browser API 使用动态 IP 池,其中包含真实的住宅 IP。为确保合规与隐私,这些 IP 会隐藏并不断轮换,以保持匿名性并优化解封效果。你可以通过以下测试 URL 查看有关 IP 的其他元数据,例如国家、ASN 和城市:
http://lumtest.com/myip.json
注意: 返回内容中不会包含 IP 字段。
若要抓取特定网站,请按以下步骤操作:
  1. 选择适合你的产品: Bright Data 提供 Web Scraper IDEWeb Scraper APICustom Scrapers 等工具,可根据你的目标网站及需求进行选择。
  2. 搜索目标站点模板:
    使用 Web Scraper API 时,可以搜索流行网站的预构建模板,从而快速开始抓取。
  3. 自定义或构建你的 Scraper:
    • 若目标网站没有现成模板,可使用 Web Scraper IDE 创建自定义 Scraper,或使用 Custom Scrapers 让我们为你构建。
    • 使用编辑器编写脚本或基于现有模板修改以满足需求。
  4. 测试并执行 Scraper:
    在 Bright Data 平台内运行 Scraper 获取数据,并使用 IDE 调试功能进行优化。
  5. 导出数据:
    完成抓取后,你可以以 JSON、CSV 或 Excel 格式导出数据,用于分析或集成。
若你偏好无代码方案或需要协助,Bright Data 支持团队可为你提供帮助,也可直接请求定制数据集。