爬虫

来自任意网站的结构化数据

发送一个 URL，获得结构化 JSON/CSV。无需管理代理、浏览器、反爬虫系统或数据解析。660+ 个预构建爬虫覆盖 LinkedIn、Instagram、TikTok、Amazon、Google 地图等。

💡还没准备好完整集成？直接在无代码控制台中运行任意爬虫。

发送你的第一个请求

将 API_KEY 替换为来自账户设置的密钥。你将收到一条包含 200+ 字段的 JSON 记录。同样的请求模式适用于库中的每个爬虫。

curl "https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l1viktl72bvl7bjuj0&format=json" \
  -H "Authorization: Bearer API_KEY" \
  -H "Content-Type: application/json" \
  -d '[{"url": "https://www.linkedin.com/in/elad-moshe-05a90413/"}]'

Instagram

个人资料、帖子、Reels、评论。

TikTok

个人资料、帖子、评论、店铺。

Amazon

产品、评论、卖家、搜索。

社交

Facebook

主页、帖子、活动。

X / Twitter

个人资料和帖子。

YouTube

频道、视频、评论。

子版块、帖子、评论。

AI 与搜索

ChatGPT

对话和提示。

Google 搜索

SERP、摘要、精选结果。

Google 地图

地点、评论、营业时间。

浏览全部 660+ 个爬虫 →

🛠️找不到你需要的站点？使用 AI 驱动的 Scraper Studio 在几分钟内构建自定义爬虫。

工作方式

先选择请求模式，再选择数据交付方式。

请求模式

同步

一次请求，一次响应。适合单 URL 和实时场景。

异步

触发任务后再获取结果。单次请求可处理数千个 URL。

发现

在没有具体 URL 时，通过关键字或类别查找记录。

交付选项

API 下载

任务完成后从 API 拉取结果。

Webhook

快照就绪后立即推送到你的端点。

云存储

直接交付到 S3、GCS、Azure 或 Snowflake。

流式传输

抓取过程中分批接收结果。

预构建爬虫之外

自定义爬虫

使用 Scraper Studio 为任意站点构建爬虫。传入 URL 并描述你需要的数据。

托管服务

Bright Data 团队为你的目标站点构建并运营自定义爬虫。无需代码。

数据集市场

完全跳过抓取。购买按计划刷新的现成数据集。无需代码。

示例工作流

端到端教程，将爬虫与交付选项和目标系统结合起来。

LinkedIn 资料 → 你的 CRM

使用 LinkedIn 爬虫获取个人资料和公司数据，再通过 Webhook 推送到 HubSpot 或 Salesforce。

Amazon 价格监控

对 SKU 列表运行异步任务，将结果流式写入 S3，实现每日价格和库存跟踪。

社交监听

结合 Instagram、TikTok 和 X 爬虫与”发现”模式，按关键字跟踪提及。

你能构建什么

销售线索富化

将 LinkedIn 个人资料和公司数据导入你的 CRM 或销售流程。

价格监控

跨电商站点跟踪产品价格、库存和评论。

市场研究

汇总社交信号、竞争对手活动和热门内容。

AI 训练数据

构建大规模、结构化的数据集用于训练和微调模型。

职位聚合

将 LinkedIn 等求职网站的职位列表汇总到单一信息流。

品牌监控

跨社交平台跟踪提及、话题标签和情感。

概念

同步 vs 异步Web Scraper API vs DIY

库参考

库概览自定义输入使用源

API 基础

API 参考错误目录常见问题

运维

交付选项流式与文件交付截止时间功能

介绍

产品指南

Documentation Index

​来自任意网站的结构化数据

​发送你的第一个请求

​热门爬虫

LinkedIn