为什么爬虫会被阻止
现代反机器人系统不依赖单一信号。它们结合多个检测层，任何一层失败都会触发阻止。 DIY 爬虫是指构建和维护自己的爬虫基础设施：编写解析器、管理代理、处理 CAPTCHA、自己修补浏览器指纹。以下是为什么每个检测层都会增加难度：
以下是使用基本设置爬取 Cloudflare 保护网站时典型的被阻止响应：
cURL
Response
为什么自己维护反阻止成本高昂
每个检测层需要不同的对策，每个对策都需要持续维护。 IP 轮换意味着采购、验证和淘汰代理。TLS 指纹识别意味着修补你的 HTTP 客户端以随机化握手签名，而大多数库���不原生支持这一点。浏览器指纹识别意味着在检测系统每周更新时保持无头浏览器补丁最新。CAPTCHA 求解意味着集成第三方求解器并处理失败。 实际上，自己构建的团队发现反阻止维护消耗了大量工程能力，通常比构建实际数据管道花费更多时间。当目标网站更新防御时，你的爬虫会无声地失败，返回空字段或过时数据，同时看起来仍在正常工作。等到你发现时，你的下游系统已经摄入坏数据数小时甚至数天。 每个 Bright Data 爬虫产品共享相同的反阻止引擎。产品之间的区别在于你获得什么以及保留多少控制权。Bright Data 如何处理每个检测层
IP 信誉。 请求通过 195+ 个国家真实 ISP 的住宅 IP 路由。反机器人系统将这些视为常规家庭流量。IP 按请求自动轮换，标记的地址从池中淘汰。 TLS 指纹识别。 当你的 HTTP 客户端打开连接时，它发送一个 TLS Client Hello，反机器人系统将其哈希化为 JA3 指纹。例如，Pythonrequests 总是生成相同的哈希，这是已知的机器人签名。Bright Data 为每个请求生成唯一的 TLS 指纹，匹配真实浏览器群体的多样性。
浏览器指纹识别。 网站收集 Canvas 渲染、WebGL 数据、已安装字体��屏幕尺寸和音频上下文来构建设备档案。Bright Data 模拟完整的、一致的浏览器环境，通过来自 Cloudflare Turnstile、Akamai Bot Manager 和其他主要检测系统的检查。
行为分析。 反机器人系统跟踪请求时序、导航序列和交互模式。Bright Data 改变请求时序、模拟逼真的导航模式并管理会话状态以匹配人类浏览行为。
CAPTCHA 求解。 自动求解 CAPTCHA，包括 reCAPTCHA、hCaptcha、Cloudflare Turnstile 等。你永远不会看到挑战。响应返回时就像不存在 CAPTCHA 一样。
哪个产品适合你的情况
每个产品都继承上述反阻止功能。区别在于你获得什么以及需要多少控制权。 我想完全控制我的 HTTP 客户端，只需要不会被标记的 IP。 使用 Bright Data 代理。有四种类型可用：住宅（最高信任，最适合受保护网站）、数据中心（最快，最适合不受保护网站）、ISP（住宅信任度，数据中心速度）和移动（最高信任，最适合高度保护的目标）。代理解决 IP 信誉问题，但其他四个检测层留给你处理。 我需要来自受保护网站的原始 HTML，但不想自己构建反阻止。 使用 Web Unlocker��发送 URL，获取干净的 HTML。所有五个检测层都在单个 API 调用中处理：IP 轮换、TLS 指纹识别、浏览器指纹识别、行为模拟和 CAPTCHA 求解。 我需要浏览登录流程、点击分页或与 JavaScript 密集的页面交互。 使用 Bright Data 浏览器 API。完整的云托管浏览器，通过 Puppeteer 或 Playwright 控制，所有反阻止都已内置。与 Web Unlocker 不同，浏览器 API 运行真实的 GUI 浏览器（不是无头），产生真实的渲染工件，检测系统不太可能标记。 我需要从 Google、Bing 或其他搜索引擎获取搜索结果，而不被阻止。 使用 SERP API。搜索引擎是防护最强的目标之一。SERP API 处理所有反阻止并返回结构化 JSON，包括已解析的有机结果、广告、精选片段和知识面板。 我想从流行网站获取结构化数据，而无需编写或维护解析器。 使用 Web Scraper API。数千个预构建爬虫用于 Amazon、LinkedIn、Instagram、YouTube、TikTok 和 Google Maps 等网站。你获得干净的 JSON，每个爬虫平均 220+ 个数据字段。当目标网站更改时，Bright Data 更新爬虫。��见误解
“仅住宅代理就能解决阻止。” 它们处理 IP 信誉，但现代系统还检查 TLS 指纹、浏览器指纹和行为模式。代理只是五层中的一层。 “隐身插件使无头浏览器无法检测。” Cloudflare Turnstile 和 Akamai Bot Manager 即使应用了 Playwright Stealth 也能检测到打了补丁的无头浏览器。浏览器 API 通过运行真实 GUI 浏览器而非打了补丁的无头浏览器解决了这个问题。 “减慢请求速度可以防止阻止。” 速率限制有助于避免基本 IP 禁止，但 LinkedIn、Instagram 和 Amazon 等网站使用会话级指纹识别，无论速度如何都能检测自动化。 “代理和 Web Unlocker 做的是同一件事。” 代理仅通过不同 IP 路由你的请求。Web Unlocker 还管理 TLS 指纹、求解 CAPTCHA、模拟浏览器行为、处理 JavaScript 渲染，并在失败时使用新指纹重试。常见问题
Bright Data 在 Cloudflare 保护的网站上工作吗？
Bright Data 在 Cloudflare 保护的网站上工作吗？
是的。Web Unlocker、浏览器 API、SERP API 和 Web Scraper API 都自动处理 Cloudflare 挑战（包括 Turnstile）、Akamai Bot Manager、PerimeterX、DataDome 和其他主要反机器人系统。
使用 Web Unlocker API、SERP API 或 Browser API 时，在哪里可以查看我的公共 IP？
使用 Web Unlocker API、SERP API 或 Browser API 时，在哪里可以查看我的公共 IP？
无法查看。Web Unlocker API、SERP API 和 Browser API 所使用的公共 IP 对用户不可见。这三种产品都使用包含真实住宅 IP 的动态 IP 池，为确保合规与隐私、并保持解封效果，这些 IP 会被隐藏并持续轮换。你仍可通过
http://brdtest.com/myip.json 查看 IP 的相关元数据，例如国家、ASN 和城市。返回内容中不包含 IP 字段本身。我应该预期什么成功率？
我应该预期什么成功率？
在 独���基准测试 测试 11 个提供商中，Bright Data 实现了 98.44% 的平均成功率，在所有测试中最高。