Video Tutorials: Mastering Web Scraping with the IDE

​

从搜索结果中抓取数据

本视频主要展示了以下三大块内容：如何使用 IDE 从 Amazon 搜索结果中抓取数据、如何构建可从多个搜索结果页面持续抓取数据的抓取工具，以及代理网络如何确保抓取工具快速、轻松地采集数据，不被屏蔽。

​

项目设置、代理和自动化工作流

本视频详细叙述了本平台的基本特征和功能，包括项目设置、代理创建和管理，以及自动化数据采集工作流的设置。

​

代理管理、API 集成和代码功能

本视频演示了自动化数据采集工作流。 它讲述了代理管理器和 API 集成等基础知识，展示了使用模板设置基础抓取工具的方法，并且介绍了各种代码函数。 它还解释了使用输入参数抓取特定产品的信息或让抓取工具导航至特定类别的页面的具体操作步骤。 此外，视频还介绍了如何运行代码、如何访问日志和控制台以进行调试的方法。

​

模板、API 集成和输出配置

本视频介绍了使用模板节省时间、修改代码和预览搜索结果的方法。 它还介绍了通过 API 启动搜索，以及获取必要的 API 令牌以接收搜索结果的操作。 此外，视频还讲解了输出配置以及将搜索结果集成至代码的方法。

​

使用 for 循环浏览搜索结果

本视频就如何使用 for 循环浏览数百个搜索结果页面，并提取每个公寓列表的链接，如何使用暂停功能采集数据以及如何使用 collect 函数返回数据三方面内容进行了演示。 它还讨论了一些基础知识，例如代理管理器和 API 集成、使用模板设置基础抓取工具的方法以及使用输入参数精准定位特定产品或页面类别的方法。 最后，视频还演示了如何测试和运行代码，以及如何访问日志和控制台进行调试。

​

使用 IDE 模板和代理网络来构建多个网页抓取工具

本视频演示了构建网页抓取工具和访问 API 集成的方法。 It discusses using the IDE’s templates to create web scraper to pull data from Walmart. 视频还介绍了将抓取工具部署到代理网络并将采集的数据汇总至单个响应（通过简单的 API 调用即可访问该响应）的操作。

​

调试和数据交付

本视频讨论了两大内容：如何使用 IDE 调试抓取工具以及如何交付抓取的数据（例如通过 API 端点或 Amazon S3）。

​

使用 Bright Data 的实用程序函数抓取富有挑战性的网站

本视频聚焦编程层，展示了一个非常动态，极难抓取数据的网站。它详解展示了如何指示抓取工具等待网格可用，从 1 循环至网格单元总数，然后调用下一阶段来采集单个猿猴 NFT 头像数据的过程。 该视频着重介绍了 Bright Data 引入的实用程序函数，以及如何使用这些函数让数据采集变得更轻松。

​

使用 Python 实现 Airbnb 数据采集自动化

本视频演示了模板的使用方法（模板可量身定制，以获得所需结果），以及使用 Bright Data 的代理网络和解锁工具从难以抓取的站点采集数据的好处。视频还演示了使用 API 启动抓取工具并获取数据的方法。

​

Amazon 网页抓取教程示例

本视频演示了通过输入特定参数（例如国家/地区、URL、域名、部门、最大页数和其他现成的代码函数）创建抓取工具的过程。 它还展示了如何使用“帮助”部分的文档查找所有可用命令和检查语法的操作。