Scraping Browser 常见问题解答

Bright Data 的 Scraping Browser 支持多种编程语言和库。目前，我们使用 puppeteer、playwright 和 selenium 为 Node.js 和 Python 提供全面的本地支持，还可以使用下面的其他库集成其他语言，让您可以灵活地将 Scraping Browser 直接集成到您当前的技术栈中。

语言/平台	puppeteer	playwright	selenium
Python	N/A	playwright-python	Selenium WebDriver
JS / Node	原生支持	原生支持	WebDriverJS
Ruby	Puppeteer-Ruby	playwright-ruby-client	适用于 Ruby 的 Selenium WebDriver
C#	.NET: Puppeteer Sharp	适用于 .NET 的 Playwright	适用于 .NET 的 Selenium WebDriver
Java	Puppeteer Java	适用于 Java 的 Playwright	原生支持
Go	chromedp	playwright-go	适用于 Go 的 Selenium WebDriver

如果您想在每次会话中自动启动开发工具以查看实时浏览器会话，可以集成以下代码片段：

NodeJS - Puppeteer
// Node.js Puppeteer - launch devtools locally  

const {
    exec
} = require('child_process');
const chromeExecutable = 'google-chrome';

const delay = ms => new Promise(resolve => setTimeout(resolve, ms));
const openDevtools = async (page, client) => {
    // get current frameId  
    const frameId = page.mainFrame()._id;
    // get URL for devtools from scraping browser  
    const {
        url: inspectUrl
    } = await client.send('Page.inspect', {
        frameId
    });
    // open devtools URL in local chrome  
    exec(`"${chromeExecutable}" "${inspectUrl}"`, error => {
        if (error)
            throw new Error('Unable to open devtools: ' + error);
    });
    // wait for devtools ui to load  
    await delay(5000);
};

const page = await browser.newPage();
const client = await page.target().createCDPSession();
await openDevtools(page, client);
await page.goto('http://example.com');

Debugger 演示

下面就来看看 Scraping Browser Debugger 的运行情况

<inser-video-here>

只要在代码中添加以下内容，就能随时轻松触发浏览器截图：

NodeJS
// node.js puppeteer - Taking screenshot to file screenshot.png 
await page.screenshot({ path: 'screenshot.png', fullPage: true });

要截取 Python 和 C# 的屏幕截图，请参阅此处: https://docs.brightdata.com/cn/scraping-automation/scraping-browser/code-examples


错误代码	含义	您能做些什么？
服务器意外响应：407	远程浏览器的端口有问题	请检查您的远程浏览器的端口。Scraping Browser 的正确端口是端口:9222
服务器意外响应：403	身份验证错误	从 Bright Data 控制面板检查身份验证凭据（用户名和密码），并检查是否使用了正确的 “Browser API” 区域。
服务器意外响应：503	服务不可用	我们现在可能正在扩展浏览器以满足需求。请尝试在 1 分钟后重新连接。

您可以使用下面的 curl 检查您的连接：

Shell
curl -v -u USER:PASS https://brd.superproxy.io:9222/json/protocol

如有任何其他问题，请参阅我们的故障排除指南或联系技术支持: https://help.brightdata.com/hc/en-us/requests/new

使用 C# 与 Scraping Browser 产品集成需要修补 PuppeteerSharp 库，以添加对 websocket 身份验证的支持。具体方法如下：

C# PuppeteerSharp
using PuppeteerSharp;  
using System.Net.WebSockets;  
using System.Text;  
  
// Set the authentication credentials  
var auth = "USER:PASS";  
// Construct the WebSocket URL with authentication  
var ws = $"wss://{auth}@zproxy.lum-superproxy.io:9222";  
// Custom WebSocket factory function  
async Task<WebSocket> ws_factory(Uri url, IConnectionOptions options, CancellationToken cancellationToken)  
  
{  
    // Create a new ClientWebSocket instance
    var socket = new ClientWebSocket();  
    // Extract the user information (username and password) from the URL  
    var user_info = url.UserInfo;  
    if (user_info != "")  
    {  
        // Encode the user information in Base64 format  
        var auth = Convert.ToBase64String(Encoding.Default.GetBytes(user_info));  
        // Set the "Authorization" header of the WebSocket options with the encoded credentials  
        socket.Options.SetRequestHeader("Authorization", $"Basic {auth}");  
    }  
  
    // Disable the WebSocket keep-alive interval  
    socket.Options.KeepAliveInterval = TimeSpan.Zero;  
    // Connect to the WebSocket endpoint  
    await socket.ConnectAsync(url, cancellationToken);  
    return socket;  
}  
  
// Create ConnectOptions and configure the options  
var options = new ConnectOptions()  
  
{  
    // Set the BrowserWSEndpoint to the WebSocket URL  
    BrowserWSEndpoint = ws,  
    // Set the WebSocketFactory to the custom factory function  
    WebSocketFactory = ws_factory,  
};  
  
// Connect to the browser using PuppeteerSharp  
Console.WriteLine("Connecting to browser...");  
  
using (var browser = await Puppeteer.ConnectAsync(options))  
{  
    Console.WriteLine("Connected! Navigating...");  
    // Create a new page instance  
    var page = await browser.NewPageAsync();  
    // Navigate to the specified URL  
    await page.GoToAsync("https://example.com");  
    Console.WriteLine("Navigated! Scraping data...");  
    // Get the content of the page  
    var content = await page.GetContentAsync();  
    Console.WriteLine("Done!");  
    Console.WriteLine(content);  
}