你的爬虫管道有效，但月度账单在不断攀升。带宽费用、住宅代理使用费和服务器成本在大规模使用时迅速增加。

大部分支出是可以避免的。本指南介绍了在每一层中削减成本的实用技术：IP选择、请求优化、带宽减少和服务计划结构。

从最便宜的有效IP类型开始

网页爬虫中最大的成本杠杆是IP类型。数据中心IP的每GB成本远低于住宅IP或移动IP，但许多团队在数据中心IP可行时默认使用住宅IP。把它看作运输：你不会仅仅因为方便就用隔夜快递运送所有东西。你从地面运输开始，只有在交货时间需要时才升级。

IP类型	相对成本	最适合
数据中心	最低	没有高级反机器人系统的网站
ISP	中等	需要在数据中心速度下获得住宅级信任的网站
住宅	较高	使用Cloudflare、Akamai或PerimeterX保护的网站
移动	最高	阻止所有其他IP类型的高度保护目标

经验法则： 从数据中心IP开始。只有在确认它们对你的目标不起作用时，才沿着成本梯度向上移动。

如何测试网站是否支持数据中心IP

在编写任何代码之前，先在浏览器中手动测试：

配置你的浏览器（Firefox效果很好）通过数据中心代理和单个粘性会话路由流量
导航到目标URL
如果页面正常加载，那么数据中心IP可以用于此网站

如果它通过数据中心代理在浏览器中加载，你也可以在代码中实现。关键是让你的请求看起来完全像浏览器的请求。

使用headers和cookies让数据中心IP正常工作

没有headers或cookies的裸HTTP请求在大多数网站上都无法工作，即使使用干净的数据中心IP。但添加正确的headers和cookies通常会让你获得接近完美的成功率。以下是使用数据中心IP爬取Amazon产品页面的真实示例：

Node.js

const axios = require("axios");

const TARGET_URL = "https://www.amazon.com/dp/B0EXAMPLE";

// 不带headers/cookies：成功率约10%
const bareRequest = await axios.get(TARGET_URL, {
  proxy: { host: "datacenter-proxy", port: 8080 },
});

// 带headers和cookies：成功率约100%
const optimizedRequest = await axios.get(TARGET_URL, {
  proxy: { host: "datacenter-proxy", port: 8080 },
  headers: {
    "User-Agent":
      "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    Accept:
      "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.5",
    "Accept-Encoding": "gzip, deflate, br",
    Connection: "keep-alive",
    "Upgrade-Insecure-Requests": "1",
    Cookie: "session-id=123-4567890; i18n-prefs=USD; sp-cdn=L5Z9:US",
  },
});

差异是显著的：成功率从10%跳升到接近100%，只需通过模拟真实浏览器发送的内容。 查找正确headers和cookies的位置：

在通过数据中心代理路由的浏览器中打开目标网站
打开开发工具(F12)并转到网络选项卡
重新加载页面并点击主文档请求
复制请求Headers部分
在你的爬虫代码中使用那些确切的headers

Headers和cookies不会经常改变。你可以通过在无头浏览器中加载目标域一次、提取cookies和headers，然后为数百个HTTP客户端请求重用它们来自动化刷新。

仅当HTTP客户端不足时才使用浏览器

通过代理获取网页有两种方式：

HTTP客户端（axios、Python requests、cURL）：发送单个请求并仅下载HTML。快速、轻量级且廉价。前面的部分都使用这种方法。
浏览器自动化（Puppeteer、Playwright、Selenium）：启动一个完整的浏览器，渲染JavaScript、加载图像、样式表和页面上的所有其他资源。在带宽上要重得多。

两者都通过你的代理。区别在成本：HTTP客户端下载约500 KB HTML，而浏览器为同一页面加载20+ MB的资源。使用这个决策树选择正确的方法：

HTTP客户端（带headers/cookies）能获取数据吗？
├── 是 → 使用HTTP客户端（最便宜、最快）
└── 否 → 网站需要JavaScript渲染吗？
    ├── 是 → 使用浏览器自动化
    └── 否 → 检查是否缺少headers、cookies或TLS指纹

当你确实需要浏览器时，使用真实的Chrome二进制而不是Chromium。反机器人系统对浏览器构建进行指纹识别，Chromium会暴露”自动化”的身份。

Node.js (Puppeteer)

const puppeteer = require("puppeteer-extra");
const StealthPlugin = require("puppeteer-extra-plugin-stealth");

puppeteer.use(StealthPlugin());

const browser = await puppeteer.launch({
  executablePath: "/usr/bin/google-chrome", // 真实Chrome，不是Chromium
  headless: "new",
  args: ["--no-sandbox"],
});

const page = await browser.newPage();

// 设置真实的headers
await page.setExtraHTTPHeaders({
  "Accept-Language": "en-US,en;q=0.9",
});

await page.goto("https://www.amazon.com/dp/B0EXAMPLE", {
  waitUntil: "domcontentloaded",
});

这个交换本身就可以在许多会以其他方式阻止你的爬虫的网站上消除验证码。

如果你根本不想管理浏览器，Bright Data浏览器API在云中运行真实的GUI浏览器，内置所有反阻止功能。你通过Puppeteer或Playwright连接，我们处理基础设施。

使用浏览器时减少带宽

单个Amazon产品页面加载超过20 MB的资源。如果你只需要标题、价格和描述等文本数据，大部分带宽都是浪费的钱。

阻止不必要的资源类型

拦截网络请求并中止你不需要的任何东西：

Node.js (Puppeteer)

await page.setRequestInterception(true);

page.on("request", (request) => {
  const resourceType = request.resourceType();

  // 阻止图像、样式表、字体和媒体
  if (["image", "stylesheet", "font", "media"].includes(resourceType)) {
    request.abort();
  } else {
    request.continue();
  }
});

await page.goto("https://www.amazon.com/dp/B0EXAMPLE");

仅阻止图像就可以减少页面加载带宽50%或更多。将样式表和字体添加到阻止列表会进一步减少它。

按域阻止请求

许多页面加载第三方脚本（分析、社交小部件、广告网络），这些对你需要的数据没有任何贡献：

Node.js (Puppeteer)

const BLOCKED_DOMAINS = [
  "google-analytics.com",
  "facebook.net",
  "doubleclick.net",
  "adservice.google.com",
];

page.on("request", (request) => {
  const url = request.url();
  if (BLOCKED_DOMAINS.some((domain) => url.includes(domain))) {
    request.abort();
  } else {
    request.continue();
  }
});

小心测试阻止。某些JavaScript文件是页面渲染你的目标数据所必需的。从阻止图像和明显的第三方域开始，然后逐步扩展阻止列表。如果网站崩溃，回溯。

获得数据后停止加载

你不需要等待整个页面完成加载。等待你需要的特定元素，然后停止：

Node.js (Puppeteer)

await page.goto("https://www.amazon.com/dp/B0EXAMPLE", {
  waitUntil: "domcontentloaded", // 不要等待所有资源
});

// 仅等待你需要的元素
await page.waitForSelector("#productTitle");
await page.waitForSelector(".a-price .a-offscreen");

// 立即提取数据
const title = await page.$eval("#productTitle", (el) => el.textContent.trim());
const price = await page.$eval(".a-price .a-offscreen", (el) =>
  el.textContent.trim()
);

// 在剩余资源完成加载前关闭页面
await page.close();

这可以将带宽从20+ MB减少到每页不足2 MB，同时仍然捕获你需要的一切。

直接导航到数据

每次额外的页面导航都会耗费带宽和时间。构建到你需要的数据的最短路径。 较长路径（3次导航）：

在Amazon上搜索”Xbox”
点击第一个产品结果
点击”查看所有评论”

较短路径（1次导航）： 通过将产品ID代入评论URL直接导航到https://www.amazon.com/product-reviews/B0EXAMPLE。大多数网站的产品页面、评论页面和搜索结果URL模式可预测。逆向工程URL结构并完全跳过点击。

混合HTTP客户端和浏览器方法

某些网站需要浏览器会话来生成身份验证令牌，但实际数据页面使用HTTP客户端也能正常工作。你可以结合两种方法以获得各自的优势：

在无头浏览器中加载一个页面以收集会话cookies和身份验证令牌
从浏览器会话中提取cookies
将这些cookies与你的HTTP客户端一起使用用于所有后续页面

Node.js

// 第1步：从一个浏览器会话获取身份验证cookies
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto("https://target-site.com/search?q=product");

// 第2步：提取cookies
const cookies = await page.cookies();
const cookieString = cookies.map((c) => `${c.name}=${c.value}`).join("; ");
await browser.close();

// 第3步：为快速HTTP请求使用cookies（不需要浏览器）
const productUrls = [
  "https://target-site.com/product/123",
  "https://target-site.com/product/456",
  "https://target-site.com/product/789",
];

for (const url of productUrls) {
  const response = await axios.get(url, {
    headers: {
      Cookie: cookieString,
      "User-Agent": "Mozilla/5.0 ...",
    },
    proxy: { host: "datacenter-proxy", port: 8080 },
  });
  // 解析response.data
}

这个模式为单个页面加载使用重浏览器带宽，然后为数百个数据页面切换到轻量级HTTP客户端请求。大规模时，成本差异是显著的。

选择正确的数据收集方法

在优化各个请求之前，考虑你是否应该构建爬虫。

方法	你管理的内容	最适合
内部	一切：代理、解锁、解析、存储、服务器、工程团队	数据收集是核心业务的公司
混合	解析和存储；一个服务处理解锁和IP轮换	想要对数据处理进行控制但不想控制基础设施的团队
数据即服务	仅分析；你从提供商购买结构化数据	其核心业务是分析数据而不是收集数据的团队

内部需要多个工程团队和持续的基础设施。除非数据收集是你的核心产品，否则这种方法很少具有成本效益。混合消除了最大的时间消耗：对抗反机器人系统。使用Bright Data Web Unlocker，你发送一个URL，我们返回干净的HTML。所有五个检测层（IP轮换、TLS指纹识别、浏览器指纹识别、行为仿真和验证码求解）都在单个API调用中处理。你的开发人员专注于解析和数据质量，而不是逆向工程拦截机制。 数据即服务完全省去了爬取管道。Bright Data Scraper API 提供数千个预构建爬虫，直接返回结构化 JSON，无需选择器、无需代理配置、无需维护。如果你的核心业务是机器学习、数据分析或市场情报，这往往是最大的成本节省项。

不确定哪种方式适合你？请参阅Scraper API 与自建爬虫对比中的详细比较。

优化服务套餐

技术优化降低的是每个请求的成本，服务套餐优化降低的是你为每 GB 或每次请求支付的价格。 选择合适的计价模式。 有些服务商按带宽的 GB 数计费，有些按请求次数计费。一个用浏览器加载的商品页可能消耗 20 MB 以上的带宽，但只算一次请求。请对照你的实际使用模式比较两种模式。 选择包月套餐。 按量付费是价格最高的档位。即使是较小的月度承诺也能把单价降低 50% 或更多。如果大额承诺让你感到有风险，可以从小额开始，节省仍然大于按量付费。 把流量集中到一家服务商。 把流量拆分给多家服务商，意味着你在两边拿到的价格都更差。把全部流量集中到一家服务商可以解锁更高档位的折扣。

真实案例：整合服务商

一家公司把流量在两家代理服务商之间对半分，每月合计支付 $31,000。把 90% 的流量迁移到一家服务商（保留 10% 作为备份）后，总账单降到每月 $24,000。仅靠整合每年就节省 $84,000，且无需改动任何代码。

成本优化清单

用这份清单审计你当前的爬取配置：

验证优化效果

应用这些技巧后，衡量其影响：

比较每个请求的带宽。 记录屏蔽资源前后的响应大小。如果每页从 20 MB 降到 5 MB，成本就降低了 75%。
跟踪成功率。 用优化后的标头和 Cookie 发送 10 到 20 个测试请求。如果成功率低于 90%，很可能缺少某个必需的标头或 Cookie。
监控每条记录的成本。 用每月代理账单除以成功采集的记录数。这才是真正重要的指标。每次优化后重复计算以确认节省。

故障排除

即使带了标头和 Cookie，数据中心 IP 仍返回验证码或 403 错误。 该网站很可能使用 Cloudflare、Akamai 或类似系统拦截所有数据中心 IP 段。改用 ISP 或住宅 IP，或使用 Bright Data Web Unlocker。我们自动处理检测，你无需自己调试。 屏蔽资源导致页面损坏，目标数据缺失。 你屏蔽了页面渲染数据所需的 JavaScript 文件。回退到上一个可用的屏蔽列表，然后逐类重新添加资源。始终先屏蔽图片（最安全），再逐步扩大范围。 Cookie 过期，几小时后成功率下降。 设置一个 cron 任务或定时任务，在无头浏览器中加载目标域名，提取新的 Cookie 并保存供 HTTP 请求使用。

常见问题

哪些网站可以用数据中心 IP？

只要发送正确的标头和 Cookie，很多网站都可以用数据中心 IP。测试方法：让浏览器经由数据中心代理，尝试加载目标页面。如果能加载，就能在代码中实现。把 Cloudflare、Akamai 或 PerimeterX 设置为拦截所有数据中心 IP 的网站，则需要住宅或 ISP 代理。

屏蔽图片能节省多少带宽？

屏蔽图片通常能把页面加载带宽减少 50% 或更多。一个加载全部资源时传输 20 MB 的商品页，屏蔽图片后可能降到 7 到 8 MB。再屏蔽样式表和字体还能进一步减少。

应该用 Puppeteer、Playwright 还是 Selenium？

三者的数据采集能力相当。按团队的语言偏好选择：Node.js 选 Puppeteer，Node.js/Python/Java/.NET 选 Playwright，Python/Java 选 Selenium。本指南中的成本优化技巧对三者都适用。

如果我不想管理这些怎么办？

如果维护爬虫不是你的核心业务，可以考虑 Bright Data Scraper API。我们维护数千个预构建爬虫，返回结构化 JSON。你无需管理代理、浏览器或反拦截即可获得数据。按量付费价格为每 1,000 条已投递记录 $1.50。

开始使用

数据提取

AI 训练数据

代理网络

如何降低网络爬虫成本

你的爬虫管道有效，但月度账单在不断攀升。带宽费用、住宅代理使用费和服务器成本在大规模使用时迅速增加。

从最便宜的有效IP类型开始

如何测试网站是否支持数据中心IP

使用headers和cookies让数据中心IP正常工作

仅当HTTP客户端不足时才使用浏览器

使用浏览器时减少带宽

阻止不必要的资源类型

按域阻止请求

获得数据后停止加载

直接导航到数据

混合HTTP客户端和浏览器方法

选择正确的数据收集方法

优化服务套餐

成本优化清单

验证优化效果

故障排除

常见问题

延伸阅读

​你的爬虫管道有效，但月度账单在不断攀升。带宽费用、住宅代理使用费和服务器成本在大规模使用时迅速增加。

​从最便宜的有效IP类型开始

​如何测试网站是否支持数据中心IP

​使用headers和cookies让数据中心IP正常工作

​仅当HTTP客户端不足时才使用浏览器

​使用浏览器时减少带宽

​阻止不必要的资源类型

​按域阻止请求

​获得数据后停止加载

​直接导航到数据

​混合HTTP客户端和浏览器方法

​选择正确的数据收集方法

​优化服务套餐

​成本优化清单

​验证优化效果

​故障排除

​常见问题

​延伸阅读

你的爬虫管道有效，但月度账单在不断攀升。带宽费用、住宅代理使用费和服务器成本在大规模使用时迅速增加。

从最便宜的有效IP类型开始

如何测试网站是否支持数据中心IP

使用headers和cookies让数据中心IP正常工作

仅当HTTP客户端不足时才使用浏览器

使用浏览器时减少带宽

阻止不必要的资源类型

按域阻止请求

获得数据后停止加载

直接导航到数据

混合HTTP客户端和浏览器方法

选择正确的数据收集方法

优化服务套餐

成本优化清单

验证优化效果

故障排除

常见问题

延伸阅读