用例
- 从热门站点获取结构化数据:从 LinkedIn、Amazon、Instagram 或 TikTok 等站点获取资料、帖子、商品或评论。对应产品是 Web Scraper API。
- 从其他任意站点获取结构化数据:从没有预构建抓取器的站点采集结构化数据。对应产品是 Scraper Studio。
- 搜索引擎数据:从 Google、Bing、Yandex 等搜索引擎获取结果,包括广告、酒店、趋势、航班或自然搜索结果。对应产品是 SERP API。
- 社交账号管理:管理 Facebook、TikTok、Instagram 等社交网络上的多个账号。对应产品是使用静态 IP 地址的 ISP 代理。
选择哪个产品
以下列出各个产品,以及适合使用它们的场景。何时使用 Web Scraper API
Web Scraper API 是结构化数据采集的默认选择,适用于以下情况:- 目标站点属于数千个预构建抓取器覆盖的热门站点,包括 LinkedIn、Amazon、Instagram、TikTok、Facebook、X (Twitter)、YouTube、Reddit、Google 和 ChatGPT
- 您需要结构化的 JSON 输出,而不是原始 HTML
- 您希望由 Bright Data 处理代理、解封和抓取器维护
何时使用 Scraper Studio
当目标站点没有预构建抓取器时,请选择 Scraper Studio,它适用于以下情况:- 您希望通过自然语言提示使用 AI Agent 构建自定义抓取器,或在 JavaScript IDE 中编写抓取器
- 您希望在目标站点变更后,抓取器借助自我修复工具继续正常工作
- 您希望由 Bright Data 托管并运行抓取器,无需维护任何基础设施
何时使用 SERP API
当您需要从 Google、Bing、Yandex 或 DuckDuckGo 等搜索引擎获取结构化结果(包括广告、酒店、趋势、航班和自然结果)时,SERP API 是最合适的选择。何时使用 Web Unlocker API
Web Unlocker API 适用于以下情况:- 您只需要获取 HTML 页面,而不在页面上执行任何交互,只需下载给定 URL 的 HTML 内容
- 页面带有 CAPTCHA,需要解决验证码才能进入网站
- 需要自定义 Cookie 或指纹才能解封页面
何时使用 Browser API
Browser API 适用于以下情况:- 您正在使用 Puppeteer、Playwright 或 Selenium 等工具,这种情况下只需少量调整现有代码即可接入 Browser API
- 您需要在页面上执行操作,例如点击按钮、填写表单
- 您需要截取网站页面的屏幕截图
何时使用住宅代理
住宅代理通过遍布 195+ 个国家的 4 亿+ 真实住宅 IP 路由流量。它最适合访问那些会封锁数据中心流量和自动化流量的高防护站点,也适合以真实本地用户身份进行地理定位访问。何时使用 ISP 代理
ISP 代理使用静态住宅级 IP,兼具住宅代理的可信度与数据中心代理的速度。它最适合社交或电商账号管理、广告验证、QA 测试以及绕过针对数据中心 IP 的封锁。何时使用数据中心代理
数据中心代理提供来自 98+ 个国家的 160 万+ IP,是速度最快、性价比最高的选择。它最适合从机器人防护较弱的站点进行大批量采集。哪些域名需要使用数据集
- shopee.my、shopee.ph:这些域名以数据集形式提供。无法使用代理或 Web Unlocker API 抓取这些站点。该数据集会定期持续更新。请浏览数据集市场。