数据中心代理常见问题解答
我们在数据中心代理网络中提供四种类型的 IP:
- 共享(按使用量付费)
- 共享(按 IP 付费)
- 专用
共享 IP 由多个用户共享。 我们在 互联网服务提供商(ISP) 代理网络中的共享 IP 有 2 个等级:
将您连接到由 4 万个 IP 组成的资源池,该资源池由来自各个可用国家/地区固定分配的 IP 范围组成。 这些 IP 可以根据需要在 4 万个资源池中持续轮换(特定国家/地区可以在 chrome、代理管理器或 API 中选择)
功能
-
地理位置定位 - 使用“共享” IP(按使用量付费),您可以在发送请求时使用 -country 标志来控制您的地理位置定位。针对美国的定位请求,简单示例如下所示
示例curl --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-country-us:<zone_password> "http://lumtest.com/myip.json"
访问我们的代理集成示例页面了解有关定位不同国家/地区定位选项的更多信息
我们在 ISP 代理网络中提供三种类型的 IP:
- 共享(按使用量付费)
- 共享(按 IP 付费)
- 专用
共享 IP 由多个用户共享。 我们在 互联网服务提供商(ISP) 代理网络中的共享 IP 有 2 个等级:
将您连接到由 1 万个 IP 组成的资源池,该资源池由来自各个可用国家/地区固定分配的 IP 范围组成。 这些 IP 可以根据需要在 1 万个资源池中持续轮换(特定国家/地区可以在 chrome、代理管理器或 API 中选择)
功能
-
地理位置定位 - 使用“共享” IP(按使用量付费),您可以在发送请求时使用 -country 标志来控制您的地理位置定位。针对美国的定位请求,简单示例如下所示
示例curl --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-country-us:<zone_password> "http://lumtest.com/myip.json"
访问我们的代理集成示例页面了解有关定位不同国家/地区定位选项的更多信息
要将代理集成到您的代码中,请访问 API 示例页面,该页面可通过您所在区域的设置访问,位于“访问参数”下:
在此页面上,您可以选择大多数现代编码语言的集成示例,只需选择集成类型、代理区域、编码语言等,该页面就会生成一个可供您立即使用的代码片段。
在上文提到的 API 示例页面中查看一些示例(只需在“语言”下拉菜单中选择“其他软件”),或者查看我们的集成页面,其中提供了将代理集成到当今业内最热门工具中的具体指南。
重要说明:如果您使用 Bright Data 的网络解锁器、住宅代理或 SERP API,则可能需要使用我们的 SSL 证书来启用端到端的安全连接。
发送请求时,在请求中您所在区域的名称后添加 -country 标志,然后加上该国家/地区 2 个字母的 ISO 代码。
在以下示例中:我们在请求中添加了 -country-us ,因此我们将发送来自美国(“us”)的请求。
curl "http://target.site" --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-country-us: <zone_password>
要定位特定城市,您需要使用共享(按 IP 付费)或专用代理网络。
配置代理区域时,选择首选国家/地区后,您可以添加城市,以进一步指定您的地理定位
点击“添加城市”后,您将看到所选国家/地区的可用定位城市。为了检查特定地理位置的可用 IP 数量。
配置完成后,您将能够使用以下语法发送来自所选城市的请求
curl "http://target.site" --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-country-<country>-city-<city>: <zone_password>
选择包含两个单词的城市名称时,将合并写成一个单词。
例如,当以布宜诺斯艾利斯(Buenos Aires)为定位时,请求的语法将是:
-country ar-city-buenosaires
Bright Data 在全球各个国家/地区提供代理,以下国家除外:
- 伊朗
- 伊拉克
- 叙利亚
- 黎巴嫩
- 巴勒斯坦
- 朝鲜
- 古巴
- 苏丹
- 俄罗斯克里米亚地区
遗憾的是,如果您需要来自这些国家/地区的代理,Bright Data 将无法为您提供帮助。
事件日志将向您(最多)显示您的账户中最近在任何区域发出的 200 次请求。
位于您的 Bright Data 控制面板的代理页面中: https://brightdata.com/cp/zones
转到“事件日志”选项卡:
显示的数据包括:
- 日期:请求的时间和日期
- 区域:请求使用了哪个区域
- 来源 IP:请求来自哪个 IP
- URL:请求的定位站点
- 结果:请求成功或失败
100% 正常运行时间旨在防止任何“外部”事件影响用户。这一理念很简单,与上述两个问题的运作方式相同——如果我们的系统检测到问题,例如连接问题或某个 IP 其中的 GEO 与您在购买该 IP 时要求的不完全相同,我们将自动通过与原始 IP 完全相同的其他 IP 处理您的路由请求。
同时,我们希望确保必须使用特定 IP 的客户不会受到影响,因此我们列出了一些例外情况:
- 如果您的请求中以特定 IP 为定位,我们不会为其分配回退 IP
- 100% 的正常运行时间不会中断实时连接。 如果需要回退,它将在建立下一个连接后继续参与
100% 的正常运行时间通过提供 100% 的连接和持续的高性能水平带来立竿见影的价值,免费使用,且无需对代码或工作方式进行任何更改。
可以通过 API 开启或关闭 100% 正常运行时间功能。
导航到您的代理配置设置,然后在高级设置下启用“100% 正常运行时间”
- 这可以通过在代理用户名中添加会话标志来完成:
brd.superproxy.io:33335 br-customer-<customer_id>-zone-<zone_name>-session-rand39484
在线程启动时生成随机数,如果要更改为线程连接分配的代理对等点(Proxy Peer),则对其进行更改。
- 会话 ID 可以是任何随机字符串/计数器:具有相同会话字符串的请求将使用相同的(尽可能长的)代理对等点;具有不同会话字符串的请求将被分配不同的代理对等点。
- 要强制更改 IP,只需修改会话 ID 即可
- 如果分配的代理对等点(退出节点 IP)不可用,则超级代理将在第一个请求中返回错误 “502 - 无对等点可用”,然后在第二个请求中,即使您没有更改会话 ID,超级代理也会分配一个新的对等点。
- 会话 IP 最多可保持 1 分钟的闲置时间。 一分钟后,如果没有请求,IP 将释放回资源池。
要延长此会话/IP 的使用时间,请每 30 秒发送一个小的 keep-alive 请求,以防止该会话闲置一分钟以上。 这个请求可以是任何小的请求,比如 /favicon.ico,甚至是返回 404 的请求(只要 Web 服务器不会因为这一请求而断开插座连接)。 - 如果您有多个客户端,并且想忽略您的客户端源 IP(与您的会话 ID 一起使用来创建会话),那么您想使用全局会话,然后添加
glob_
作为会话前缀:
brd-customer-<customer_id>-zone-<zone_name>-session-glob_rand39484
完整请求示例:
brd-customer-cxxxxx-zone-zone_x-session-glob_rand39484
在线程启动时生成随机数,如果要更改为线程连接分配的代理对等点,则对其进行更改。
要将 IP 添加到区域的黑名单/白名单,有两种方法:
-
通过控制面板:
- 进入您区域的任何设置,然后点击“访问参数”选项卡。
- 向下滚动到 “IP” 和“定位主机”部分,因为它们分别负责将 IP 和域名列入白名单/黑名单:
使用代理区域添加所有允许访问的相关 IP 和域名。
-
通过 API 终端节点:
-
有关白名单的重要提示:
- 应列入白名单的 IP 是您发送请求时使用的您的计算机 IP,而不是区域中的代理 IP。
- 我们强烈建议尽可能将您的 IP 列入白名单,因为当白名单为空时,如果我们的自动安全封禁系统检测到任何异常活动,您未列入白名单的 IP 可能会暂时封禁。视频链接
- 对于您添加多少个 IP/域名到白名单, 不设限制 ,我们还支持 IP 范围。 添加域名的示例:
- 添加 IP 的示例:
默认情况下,所有区域都提供端口 80 和 443,支持 HTTP 和 HTTPS 协议。
在数据中心或 互联网服务提供商(ISP) 类型的代理区域中,默认情况下支持所有高于 1024 的端口。
在住宅或移动类型的代理区域中,默认情况下以下端口可用:8080、8443、5678、1962、2000、4443、4433、4430、44444 和 1969。
Bright Data 可以根据要求支持其他端口。 每一项支持新端口的请求将遵循专门的额外合规流程,由 Bright Data 的合规团队执行。
激活前需要 Bright Data 合规性审查的端口示例:
端口 | 协议 |
---|---|
8443 | HTTP |
8243 | HTTPS |
要请求向您的区域添加端口权限,请执行以下操作:
- 进入您区域的设置(默认情况下它将在“配置”选项卡上打开,如果没有,请点击)
- 向下滚动到“高级选项”,然后点击
- 启用“端口”
- 输入您想获得批准的端口号
- 填写表格,等待我们的合规团队与您联系并批准申请
Bright Data 允许定位以下操作系统:
如果您在区域配置中选择了“按 IP 付费”的共享地址或专用 IP 类型,则系统将为您分配一个固定 IP 地址。根据您的用例,您可能需要不时刷新这些 IP 地址。
要刷新分配给您的区域 IP,请导航到所选区域,在“已分配的 IP”下点击 “显示已分配的 IP”, 选中您要刷新的 IP 或 gIP 的复选框 ,然后点击“刷新”
或者,您可以使用 API 刷新您的专用住宅 IP 或 数据中心/ISP IP
使用 Bright Data 的住宅代理网络时,您可能会发现需要使用分配给您的区域的特定 IP。
- 发送添加了 “—verbose” 或 “-v” 选项的测试请求 (这将开启详细日志记录)
curl "https://lumtest.com/myip.json" --verbose --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>:<zone_password>
- 找到 x-brd-ip 响应标头并复制其值
-
在请求中区域名称后面添加 -ip-标志,并使用在上一步中复制的哈希 IP 值
-
发送测试请求,然后查看响应
curl "https://lumtest.com/myip.json" --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-ip-<hashed-ip>:<zone_password>
我们建议使用 https://lumtest.com/myip.json 作为定位域名进行测试,并查看您的 IP 凭证。
可以通过在“地理位置定位”下将 ASN 参数添加到您的区域配置中来启用此功能。
保存配置后,可以将 ASN 标志添加到区域的凭据中,并在使用住宅代理时将其集成。
curl --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-asn-<asn-number>:<zone_password> "<target_site>"
注意:ASN 编号的值可在此处找到: https://bgp.potaroo.net/cidr/autnums.html
可以通过 gIP 的形式选择专用住宅 IP。可以通过选择“专用” IP 类型并选择 gIP 数量,在区域的配置页面下对其进行分配。还需要定位特定的域名。
保存配置后,选择“显示分配的专用住宅 IP” 将提供一个代表群组 IP 的哈希值列表。
这些值可用于定位特定的 gIP。 例如:
curl --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-gip-<gip_hash_value>:<zone_password> "<target_site>"
长会话对等点使您能够在很长一段时间内保持稳定的 IP 地址,从而确保顺畅一致的抓取操作。 与常规住宅 IP 不同,如果对等点意外断开连接,IP 可以随时轮换,而长会话对等点则提供连续会话。
启用长会话对等点
很简单,只需前往现有的住宅区或打开一个新的住宅区域,然后打开“长时间会话对等点”功能即可。 现在,您未来的请求将仅通过已知的长期对等点方路由。
注意: 启用此功能后,确实会增加该区域的额外费用
这些对等点来自哪里?
我们的住宅对等点资源池由来自全球各地选择使用我们产品的真实用户组成。作为使用选择的一部分,我们将这些真实用户在“停机”期间的 IP 作为我们符合道德标准的住宅网络的一部分。通过启用长会话对等点,您可以确保通过已知长时间保持活跃状态的对等点进行路由,并且与普通住宅对等点相比,可以将单个 IP 地址保留更长时间
长会话对等点的优势
持续的抓取操作:这种稳定性最大限度地减少了因 IP 变更而造成的中断,并最大限度地提高了抓取任务的效率。 您可以长期依赖同一 IP 地址,从而可以进行长时间的抓取操作。 此功能对于需要连续数据提取或监控的项目特别有用。
在中国境外时
定位中国住宅 IP 对等点即可:
curl --proxy brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-country-cn:<zone_password> "<target_site>"
在中国境内除了定位中国住宅 IP 对等点之外,还需要定位我们的中国超级代理。
- 使用 API 命令时,代理 DNS 服务器为 servercountry-cn.brd.superproxy.io
curl --proxy servercountry-cn.brd.superproxy.io:33335 --proxy-user brd-customer-<customer_id>-zone-<zone_name>-country-cn:<zone_password> "<target_site>"
- 使用代理管理器时:
- 只需点击端口即可选择相关的端口设置
- 选择定位并将中国设置为定位国家
- “选择 IP 控制:将超级代理位置设置为“中国”。
- 只需点击端口即可选择相关的端口设置
- 您可以选择使用以下列表中的特定运营商:
a1, aircel, airtel, att, celcom, chinamobile, claro, comcast, cox, digi,
dt, docomo, dtac, etisalat, idea, kyivstar, meo, megafon, mtn, mtnza, mts,
optus, orange, qwest, reliance_jio, robi, sprint, telefonica, telstra,
tmobile, tigo, tim, verizon, vimpelcom, vodacomza, vodafone, vivo, zain,
vivabo, telenormyanmar, kcelljsc, swisscom, singtel, asiacell, windit,
cellc, ooredoo, drei, umobile, cableone, proximus,tele2, mobitel, o2,
bouygues, free, sfr, digicel
- 例如
互联网网站使用地理位置数据库 (GeoDB) 来查询有关用户所使用的 IP 地址的信息。 Bright Data 监控并维护当今使用的 4 个主要 GeoDB 的准确记录:Maxmind、ip2location、db-ip 和 Google。
还有许多其他较小的 GeoDB,其中大多数使用的是过时的记录或有缺陷的测试方法,因此所提供的信息不够准确,或者只是为了吸引浏览者从他们那里购买 VPN 或代理产品而提供。 因此,我们强烈建议在测试您的 IP 时使用上述 GeoDB。
要查看我们有关您正在使用的代理 IP 的信息,请浏览以下内容之一:
对于单步抓取:
SERP API 是定位搜索引擎结果页面 (SERP) 的理想产品,因为它通过主动解锁,可以保证成功率(仅按成功付费),自动选择最佳代理,自定义标题,指纹识别,解析验证码等。
对于多步抓取(playwright/puppeteer/selenium):
抓取浏览器是一款理想产品,因为它作为我们完全云托管的浏览器,旨在帮助您轻松地专注于多步数据收集,同时我们会为您处理完整的代理和解锁基础架构,包括验证码求解。
住宅 Proxy - No, 但是, SERP API 是定位搜索引擎结果页面的理想产品,因为它通过主动解锁、自动选择最佳代理、自定义标题、指纹识别、解析验证码等功能保证成功率(仅按成功付费)。Targeting Google SERPs from the 住宅 network will result in Super-proxy bypass, which will casue the request to be sent from our servers instead of the peer.
**数据中心和 ISP 代理 - 不可以。当您尝试通过这两个代理网络专门定位 Google 时,您的请求将被拒绝,并且您将在响应标题中收到以下错误消息:
HTTP/1.1 403 搜索 engine host is not allowed
X-Luminati-Error: Forbidden: This target URL isn't supported on proxy networks, use the SERP API product for targeting this URL. 您可以联系您的账户经理或开立支持工单以寻求帮助
可以,您可以通过该交互式图表评估各个国家/地区可用的 IP 数量: https://brightdata.com/cp/ips_availability
首先,从下拉菜单中选择国家/地区。 该国家/地区的可用 IP 数量如下所示。
不可以 - 使用 Bright 数据时,禁止直接向主机服务器而不是向域名发送请求。
使用 URL 格式(如 1.1.1. 1:443)的请求将使用超级代理服务器执行,而不是使用代理对等点 IP。
使用超级代理的请求示例:
由于 BrightData 十分看重我们的社区和对等点的质量,因此可用于发送垃圾邮件的 SMTP 请求会被屏蔽。 请注意,邮件域名也禁止访问,对邮件域名的请求将从超级代理服务器而不是对等点 IP 发送。
Refreshing data-center IPs will have a different cost depending on the type of IP.
- Refreshing dedicated data-center IPs: $0.5/refresh/IP
- Refreshing dedicated domain data-center IPs: $0.04/refresh/IP
- Refreshing shared data-center IPs: $0.02/refresh/IP
是的。 Bright data supports SOCKS5
protocol, with a default port 22228 assigned for SOCKS5 communication.
See here for full SOCKS5 configuration instructions
- 您可以选择直接执行来自超级代理的请求,而不是对等点 IP。 在这种情况下,请求的 IP 将是超级代理的 IP。 您需要在请求授权字符串中添加 ‘-direct’ 。
brd-customer-<customer_id>-zone-<zone_name>-direct
长时间使用相同的 IP 可以使目标网站更容易将 IP 标记为代理,并且可以使目标网站检测到您的请求。 刷新您的 IP 将导致从 Bright Data 分配新的 IP,而不是资源池中的现有 IP,从而使您可以控制资源池并获得更高的成功率。
您必须使用我们的中文超级代理:
- 使用代理管理器时:位于“端口设置” > “IP 控制”:将超级代理的位置设置为“中国”。
- 使用 API 命令时,使用 servercountry-cn.brd.superproxy.io
示例:
curl "https://target-chinese-网站.com" --proxy servercountry-cn.brd.superproxy.io:33335 --proxy-user brd-customer-<custormer_name>-zone-<zone_name>-country-cn:<zone_password>
住宅/移动 IP 是真实用户设备的 IP,因此只能在用户的设备处于闲置状态(即设备已连接到互联网、有足够的电池电量且用户当前未使用)时才能使用。
如果该 IP 不可用,我们的系统将自动为您分配另一个与您使用相同类型和地理位置的可用住宅 IP。
HTTP 错误代码 502 表示“网关错误”。当您向 URL 发送请求,但该 URL 的服务器收到来自另一台服务器的无效响应且依赖该服务器来完成请求时,就会出现此错误。
可能原因
- 我们目前没有匹配您的区域配置的对等点,因为它们可能已经在其他客户端上使用,或者由于其他原因不可用。
- 由于没有活动,连接已超时。
- 主机(目标 URL)端已关闭连接
示例错误 502 响应
Request URL: SAMPLE_URL Request method: GET ***Status code: 502***
Super proxy IP: IP
Username: brd-customer-customer_id-zone-zone_name-country
Password: zone_password
Sent from: 127.0.0.1
Response headers
connection: keep-alive
date: Tue, 14 Feb 2023 08:49:16 GMT
keep-alive: timeout=5
transfer-encoding: chunked
x-lpm-port: 24000
x-luminati-error: waiting for selector ".price-container" failed: timeout 90000ms exceeded
***x-luminati-error-code: expect_element***
x-request-id2: REQUEST_ID
Request headers
user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36(KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36
host: SAMPLE_HOST
accept-encoding: gzip, deflate
Connection: keep-alive
HTTP 403 响应代码表示禁止您访问有效的网址。
服务器可以理解请求,但由于客户端的问题,无法完成请求。
可能原因
- 您的机器 IP 未列入白名单。 要了解如何将 IP 列入白名单,请查阅以下文章。 https://docs.brightdata.com/cn/api-reference/proxy-manager/whitelist_ips
- 您尝试访问的域名被 Bright Data 屏蔽 。
- 您的用例中未指定您尝试访问的域名。
- 验证码响应失败(与 Web 解锁器和 SERP API 相关)。
- 您尝试访问的域名已被您区域的目标主机设置禁止(请检查代理区域的访问参数)
示例错误 403 响应
< HTTP/1.1 403 response status was rejected
< x-debug-req-id: SAMPLE_ID
< X-Luminati-Error: response status was rejected: 403 Forbidden
< X-Luminati-Error-Code: http_status
< Date: Wed, 22 Feb 2023 11:11:23 GMT
< Connection: keep-alive
< Keep-Alive: timeout=5
< Transfer-Encoding: chunked
403 X-luminati-error(禁止)表明您的目标域名是 Bright Data 不允许的域名
这个问题可以通过联系 Bright 数据合规团队获得批准来解决。 当 Bright 数据合规团队审查您的用例并确认时,您将被告知访问权限已添加。 为了更好地处理,建议将您的账户经理添加到工单中,并明确告知他您的要求
出现错误消息时:
您试图定位<host>,但被屏蔽了
如果出现这种情况,请联系 Bright 数据合规团队 (compliance@brightdata.com) 或通过工单系统联系
我们的合规团队将审查您获得特定域名访问权限的请求