Rust浏览器自动化库chromiumoxide_cdp的使用：通过Chrome DevTools协议实现高效网页操控与数据抓取

chromiumoxide 提供了一个高级异步 API 来控制 Chrome 或 Chromium 通过 DevTools 协议。它支持所有类型的 Chrome DevTools 协议，并且可以启动一个 headless 或无头 Chrome/Chromium 实例，或者连接到已运行的实例。

使用方法

下面是使用 chromiumoxide 进行网页自动化操作的完整示例：

use futures::StreamExt;
use chromiumoxide::browser::{Browser, BrowserConfig};

#[async_std::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 创建一个带UI的浏览器实例（默认是无头模式）
    let (mut browser, mut handler) =
        Browser::launch(BrowserConfig::builder().with_head().build()?).await?;
    
    // 创建一个新任务来持续轮询处理程序
    let handle = async_std::task::spawn(async move {
        while let Some(h) = handler.next().await {
            if h.is_err() {
                break;
            }
        }
    });
    
    // 创建一个新页面并导航到URL
    let page = browser.new_page("https://en.wikipedia.org").await?;
    
    // 查找搜索框，输入搜索内容并回车
    page.find_element("input#searchInput")
        .await?
        .click()
        .await?
        .type_str("Rust programming language")
        .await?
        .press_key("Enter")
        .await?;

    // 等待导航完成并获取页面HTML内容
    let html = page.wait_for_navigation().await?.content().await?;
    
    browser.close().await?;
    handle.await;
    Ok(())
}

当前API还缺少一些功能，但Page::execute函数允许发送所有chromiumoxide_types::Command类型。大多数Element和Page函数基本上只是简化的命令构造和组合，比如Page::pdf:

pub async fn pdf(&self, params: PrintToPdfParams) -> Result<Vec<u8>> {
    let res = self.execute(params).await?;
    Ok(base64::decode(&res.data)?)
}

如果你需要其他功能，Page::execute函数允许你编写自己的命令包装器。

添加到项目

chromiumoxide支持async-std和tokio运行时。

默认使用async-std运行时：

chromiumoxide = { git = "https://github.com/mattsse/chromiumoxide", branch = "main"}

要使用tokio运行时，添加features = ["tokio-runtime"]并设置default-features = false:

chromiumoxide = { git = "https://github.com/mattsse/chromiumoxide", features = ["tokio-runtime"], default-features = false, branch = "main"}

自动下载Chromium

chromiumoxide默认会尝试在运行的计算机上查找已安装的Chromium版本。也可以使用fetcher自动下载和安装：

use std::path::Path;
use futures::StreamExt;
use chromiumoxide::browser::{BrowserConfig};
use chromiumoxide::fetcher::{BrowserFetcher, BrowserFetcherOptions};

#[async_std::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let download_path = Path::new("./download");
    async_std::fs::create_dir_all(&download_path).await?;
    let fetcher = BrowserFetcher::new(
        BrowserFetcherOptions::builder()
            .with_path(&download_path)
            .build()?,
    );
    let info = fetcher.fetch().await?;

    let config = BrowserConfig::builder()
        .chrome_executable(info.executable_path)
        .build()?,
    Ok(())
}

已知问题

• 当手动关闭对实验性类型的支持时(export CDP_NO_EXPERIMENTAL=true)，为PDL文件生成的rust文件无法编译。

故障排除

问题: 一个新的chromium实例被启动但随后超时。

解决方案: 检查你的chromium语言设置是否为英语。chromiumoxide尝试从chromium进程输出中解析调试端口，这仅限于英语。

许可证

MIT或Apache-2.0许可。

完整示例

这里是一个完整的网页抓取示例，展示了如何使用chromiumoxide抓取页面内容：

use futures::StreamExt;
use chromiumoxide::browser::{Browser, BrowserConfig};
use chromiumoxide::page::Page;

#[async_std::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 配置浏览器并启动
    let (browser, mut handler) = Browser::launch(
        BrowserConfig::builder()
            .with_head()  // 使用UI界面
            .build()?
    ).await?;

    // 处理浏览器事件
    let handle = async_std::task::spawn(async move {
        while let Some(h) = handler.next().await {
            if h.is_err() {
                break;
            }
        }
    });

    // 创建新页面并导航到目标URL
    let page = browser.new_page("https://example.com").await?;
    
    // 等待页面加载完成
    page.wait_for_navigation().await?;
    
    // 获取页面标题
    let title = page.title().await?;
    println!("页面标题: {}", title);
    
    // 获取页面HTML内容
    let content = page.content().await?;
    println!("页面内容长度: {} bytes", content.len());
    
    // 截图
    let screenshot = page.screenshot(None).await?;
    std::fs::write("screenshot.png", screenshot)?;
    
    // 关闭浏览器
    browser.close().await?;
    handle.await;
    
    Ok(())
}

这个示例展示了chromiumoxide的基本功能，包括：

1. 启动浏览器
2. 创建新页面
3. 导航到URL
4. 获取页面信息
5. 截图
6. 关闭浏览器

你可以根据需要扩展这个示例，添加更多的自动化操作，如填写表单、点击元素、处理JavaScript等。