爬虫
来自任意网站的结构化数据
发送一个 URL，获得结构化 JSON/CSV。无需管理代理、浏览器、反爬虫系统或数据解析。700+ 个预构建爬虫覆盖 LinkedIn、Instagram、TikTok、Amazon、Google 地图等。
💡
还没准备好完整集成？直接在 无代码控制台 中运行任意爬虫。
## 发送你的第一个请求
将 `API_KEY` 替换为来自 [账户设置](https://www.bright.cn/cp/setting/users) 的密钥。你将收到一条包含 200+ 字段的 JSON 记录。同样的请求模式适用于库中的每个爬虫。
```bash cURL theme={null}
curl "https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l1viktl72bvl7bjuj0&format=json" \
-H "Authorization: Bearer API_KEY" \
-H "Content-Type: application/json" \
-d '[{"url": "https://www.linkedin.com/in/elad-moshe-05a90413/"}]'
```
```python Python theme={null}
import requests
url = "https://api.brightdata.com/datasets/v3/scrape"
headers = {
"Authorization": "Bearer API_KEY",
"Content-Type": "application/json",
}
params = {"dataset_id": "gd_l1viktl72bvl7bjuj0", "format": "json"}
payload = [{"url": "https://www.linkedin.com/in/elad-moshe-05a90413/"}]
response = requests.post(url, headers=headers, params=params, json=payload)
print(response.json())
```
```javascript Node.js theme={null}
const response = await fetch(
"https://api.brightdata.com/datasets/v3/scrape?dataset_id=gd_l1viktl72bvl7bjuj0&format=json",
{
method: "POST",
headers: {
"Authorization": "Bearer API_KEY",
"Content-Type": "application/json",
},
body: JSON.stringify([
{ url: "https://www.linkedin.com/in/elad-moshe-05a90413/" },
]),
}
);
const data = await response.json();
console.log(data);
```
## 热门爬虫
最受欢迎
个人资料、公司、职位、帖子。
个人资料、帖子、Reels、评论。
个人资料、帖子、评论、店铺。
产品、评论、卖家、搜索。
社交
主页、帖子、活动。
个人资料和帖子。
频道、视频、评论。
子版块、帖子、评论。
AI 与搜索
对话和提示。
SERP、摘要、精选结果。
地点、评论、营业时间。
浏览全部 700+ 个爬虫 →
## 工作方式
先选择请求模式，再选择数据交付方式。
### 请求模式
一次请求，一次响应。适合单 URL 和实时场景。
触发任务后再获取结果。单次请求可处理数千个 URL。
在没有具体 URL 时，通过关键字或类别查找记录。
### 交付选项
任务完成后从 API 拉取结果。
快照就绪后立即推送到你的端点。
直接交付到 S3、GCS、Azure 或 Snowflake。
抓取过程中分批接收结果。
## 预构建爬虫之外
使用 Scraper Studio 为任意站点构建爬虫。传入 URL 并描述你需要的数据。
Bright Data 团队为你的目标站点构建并运营自定义爬虫。**无需代码。**
完全跳过抓取。购买按计划刷新的现成数据集。**无需代码。**
## 示例工作流
端到端教程，将爬虫与交付选项和目标系统结合起来。
使用 LinkedIn 爬虫获取个人资料和公司数据，再通过 Webhook 推送到 HubSpot 或 Salesforce。
对 SKU 列表运行异步任务，将结果流式写入 S3，实现每日价格和库存跟踪。
结合 Instagram、TikTok 和 X 爬虫与"发现"模式，按关键字跟踪提及。
## 你能构建什么
将 LinkedIn 个人资料和公司数据导入你的 CRM 或销售流程。
跨电商站点跟踪产品价格、库存和评论。
汇总社交信号、竞争对手活动和热门内容。
构建大规模、结构化的数据集用于训练和微调模型。
将 LinkedIn 等求职网站的职位列表汇总到单一信息流。
跨社交平台跟踪提及、话题标签和情感。
## 更多资源
[同步 vs 异步](/cn/datasets/scrapers/concepts/sync-vs-async)
[Web Scraper API vs DIY](/cn/datasets/scrapers/concepts/web-scraper-api-vs-diy)
[库概览](/cn/datasets/scrapers/scrapers-library/overview)
[自定义输入](/cn/datasets/scrapers/scrapers-library/custom-inputs)
[使用源](/cn/datasets/scrapers/scrapers-library/working-with-sources)
[API 参考](/cn/api-reference/scrapers/asynchronous-requests)
[错误目录](/cn/datasets/scrapers/scrapers-library/error-list-by-endpoint)
[常见问题](/cn/datasets/scrapers/scrapers-library/faqs)
[交付选项](/cn/datasets/scrapers/scrapers-library/delivery-options)
[流式与文件交付](/cn/datasets/scrapers/scrapers-library/stream-and-file-delivery)
[截止时间功能](/cn/datasets/scrapers/scrapers-library/deadline-feature)
