Skip to main content
本指南向您展示如何使用抓取器的两个高级传递功能:用于大型快照的流式传递,以及用于检索原始页面文件的文件传递
前置条件:
  • 拥有活跃抓取器的 Bright Data 账户
  • 传递方法设置为存储Webhook(两个功能都需要这样设置)

流式传递

当快照很大时,流式传递让您可以立即以批次方式接收收集的结果,而不必等待完整快照完成。

如何启用流式传递

选项 1:控制面板
  1. 打开您的抓取器的传递设置选项卡。
  2. 打开流式传递结果
  3. 输入每个批次应包含的数据行数。
传递设置中的流式传递结果开关
选项 2:WSAPI 参数 在您的 WSAPI 请求中添加 &stream_max_lines=10

限制

流式传递需要存储Webhook 传递方法。它与 API 下载不兼容。

文件传递

文件传递让您可以检索原始页面文件(HTML 快照、WARC 档案或屏幕截图)以及您的抓取数据。

如何启用文件传递

在您的 WSAPI 请求中添加 &download_fields= 并使用一个或多个可用的文件类型:
要请求多个文件类型,请将其作为逗号分隔列表传递:

可用的文件类型

文件传递仅在传递方法设置为存储Webhook 时有效。

相关内容

传递选项

配置您的存储目标和输出格式

API 参考

用于触发和管理快照的完整 API 参数