Rust浏览器自动化库chromiumoxide使用指南

概述

chromiumoxide是一个基于Rust的浏览器自动化库，它允许开发者通过Rust代码控制Chromium浏览器，实现网页爬取和自动化测试功能。这个库提供了与Chrome DevTools Protocol的交互能力，类似于Python中的Pyppeteer或Selenium。

主要特性

• 完全异步支持（基于tokio）
• 支持页面导航、表单填写、点击等操作
• 支持JavaScript执行
• 支持网络请求拦截和修改
• 支持截图和PDF生成
• 轻量级且性能高效

安装方法

在Cargo.toml中添加依赖：

[dependencies]
chromiumoxide = "0.7"
tokio = { version = "1.0", features = ["full"] }

基本使用方法

1. 启动浏览器实例

use chromiumoxide::browser::{Browser, BrowserConfig};

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 配置浏览器
    let (browser, mut handler) = Browser::launch(
        BrowserConfig::builder()
            .with_head()  // 无头模式
            .build()?
    ).await?;
    
    // 处理浏览器事件的任务
    let handle = tokio::task::spawn(async move {
        while let Some(h) = handler.next().await {
            if h.is_err() {
                break;
            }
        }
    });

    // 创建新页面
    let page = browser.new_page("https://example.com").await?;
    
    // 等待页面加载完成
    page.wait_for_navigation().await?;
    
    // 其他操作...
    
    // 关闭浏览器
    browser.close().await?;
    handle.await?;
    Ok(())
}

2. 页面导航与内容获取

// 导航到页面
page.goto("https://www.rust-lang.org").await?;

// 获取页面标题
let title = page.evaluate("document.title").await?;
println!("页面标题: {:?}", title);

// 获取页面HTML内容
let content = page.content().await?;
println!("页面内容: {}", content);

3. 元素交互操作

// 点击元素
page.find_element("button#submit").await?.click().await?;

// 填写表单
page.find_element("input#username")
    .await?
    .type_str("rust_user")
    .await?;

// 选择下拉框选项
page.find_element("select#country")
    .await?
    .select_by_value("US")
    .await?;

4. 截图和PDF生成

// 截取整个页面
page.screenshot()
    .full_page(true)
    .save("screenshot.png")
    .await?;

// 生成PDF
page.pdf()
    .landscape(false)
    .scale(1.0)
    .save("output.pdf")
    .await?;

5. 网络请求拦截

use chromiumoxide::handler::network::RequestPattern;

// 设置请求拦截
let pattern = RequestPattern::builder()
    .url_str("*.png")
    .resource_type("Image")
    .build();
    
page.set_request_interception(&[pattern]).await?;

// 处理被拦截的请求
while let Some(req) = page.next_request().await {
    if req.url().ends_with(".png") {
        req.abort().await?;
    } else {
        req.continue_request().await?;
    }
}

高级用法

并行控制多个页面

let pages = browser.new_pages(3).await?;  // 创建3个新页面
for (i, page) in pages.into_iter().enumerate() {
    page.goto(&format!("https://example.com/page{}", i)).await?;
    // 其他操作...
}

执行复杂JavaScript

let result = page.evaluate(
    r#"
    (function() {
        const elements = document.querySelectorAll('.item');
        return Array.from(elements).map(el => el.textContent);
    })()
    "#
).await?;

println!("提取的内容: {:?}", result);

完整示例Demo

下面是一个完整的chromiumoxide使用示例，展示了从启动浏览器到抓取页面数据的完整流程：

use chromiumoxide::browser::{Browser, BrowserConfig};
use chromiumoxide::page::Page;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 1. 启动浏览器实例（无头模式）
    let (browser, mut handler) = Browser::launch(
        BrowserConfig::builder()
            .with_head()
            .build()?
    ).await?;

    // 处理浏览器事件的任务
    let handle = tokio::task::spawn(async move {
        while let Some(h) = handler.next().await {
            if h.is_err() {
                break;
            }
        }
    });

    // 2. 创建新页面并导航
    let page = browser.new_page("https://www.rust-lang.org").await?;
    page.wait_for_navigation().await?;

    // 3. 获取页面信息
    let title = page.evaluate("document.title").await?;
    println!("页面标题: {:?}", title);

    // 4. 截图保存
    page.screenshot()
        .full_page(true)
        .save("rust_lang.png")
        .await?;

    // 5. 执行复杂JavaScript提取数据
    let items = page.evaluate(
        r#"
        (function() {
            const items = [];
            document.querySelectorAll('a').forEach(link => {
                items.push({
                    text: link.innerText,
                    href: link.href
                });
            });
            return items;
        })()
        "#
    ).await?;
    
    println!("提取到的链接: {:?}", items);

    // 6. 关闭浏览器
    browser.close().await?;
    handle.await?;
    
    Ok(())
}

注意事项

1. 首次运行会自动下载Chromium浏览器，可能需要较长时间
2. 无头模式适合生产环境，调试时可去掉with_head()配置
3. 确保正确处理异步任务和错误
4. 复杂的页面可能需要添加等待逻辑

chromiumoxide为Rust开发者提供了强大的浏览器自动化能力，特别适合需要高性能爬取或测试的场景。相比其他语言的类似工具，它能提供更好的内存安全性和并发性能。