支持的平台
TikTok
X (Twitter)
YouTube
Quora
Vimeo
端点的组织方式
每个社交媒体 Scraper API 端点只对应一种数据类型和一种输入方式。端点名称遵循{platform}-{object}-{action}-by-{input} 格式,例如 instagram-posts-collect-by-url 或 reddit-posts-discover-by-keyword。
所有端点分为两种操作类型:
- 按 URL 采集(Collect by URL):传入一个或多个规范 URL,获取每个目标(用户资料、帖子、视频、职位、商品)的结构化记录。适用于已明确采集目标的情况。
- 按关键词、用户名、类别或话题标签发现(Discover):传入查询条件,端点返回匹配的 URL 和记录。适用于需要先查找目标再采集的情况。
discover 端点生成 URL 列表,再将该列表传入同一平台对应的 collect-by-url 端点。
各平台的端点覆盖范围
各平台提供的数据类型
端点对应三种相互关联的数据类型,一个端点的输出可以作为另一个端点的输入:- 用户资料(Profiles):用户、主页、频道或公司数据,包括粉丝数、订阅数和帖子数等指标。
- 帖子(Posts):单条帖子、Reels、视频、职位或商品,包括点赞数、观看数、评论数和话题标签等互动指标。
- 评论(Comments):某条帖子或视频下的回复和互动。
示例:端到端采集 YouTube 数据
- 使用搜索词调用
youtube-channels-discover-by-keyword,查找频道。 - 将频道 URL 传入
youtube-channels-collect-by-url,获取频道元数据。 - 将相同的频道 URL 传入
youtube-videos-collect-by-url,获取视频。 - 将得到的视频 URL 传入
youtube-comments-collect-by-url,获取评论。