Rust视频处理库ez-ffmpeg的使用：简化FFmpeg集成与高效音视频编解码

介绍

ez-ffmpeg是一个Rust语言的FFmpeg绑定库，旨在简化FFmpeg在Rust项目中的集成和使用。它提供了高级API抽象，让开发者能够更轻松地进行音视频编解码、处理和分析，而无需直接处理复杂的FFmpeg底层API。

主要特性

• 简化的FFmpeg API接口
• 安全的Rust绑定
• 支持音视频编解码
• 流处理功能
• 元数据访问
• 格式转换

安装方法

在Cargo.toml中添加依赖：

[dependencies]
ez-ffmpeg = "0.1"

确保系统已安装FFmpeg开发库（Linux上通常为libavcodec-dev, libavformat-dev等）。

基本使用方法

1. 打开媒体文件

use ez_ffmpeg::format::input;

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let mut input_ctx = input("input.mp4")?;
    println!("文件格式: {}", input_ctx.format());
    
    Ok(())
}

2. 解码视频流

use ez_ffmpeg::{format::input, codec::decoder::video::VideoDecoder};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let mut input_ctx = input("input.mp4")?;
    let video_stream = input_ctx.streams().video().nth(0).unwrap();
    let mut decoder = VideoDecoder::from_stream(video_stream)?;
    
    for packet in video_stream.packets() {
        let frame = decoder decode(&packet)?;
        println!("解码帧: {}x{}", frame.width(), frame.height());
    }
    
    Ok(())
}

3. 转码视频文件

use ez_ffmpeg::{
    format::{input, output},
    codec::{decoder::video::VideoDecoder, encoder::video::VideoEncoder},
};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 输入文件
    let mut input_ctx = input("input.mp4")?;
    let video_stream = input_ctx.streams().video().nth(0).unwrap();
    let mut decoder = VideoDecoder::from_stream(video_stream)?;
    
    // 输出文件
    let mut output_ctx = output("output.mkv")?;
    let mut encoder = VideoEncoder::new("libx264")?
        .width(decoder.width())
        .height(decoder.height())
        .time_base(video_stream.time_base())
        .build()?;
    
    let mut output_stream = output_ctx.add_stream(&encoder)?;
    
    // 处理每一帧
    for packet in video_stream.packets() {
        let frame = decoder.decode(&packet)?;
        let encoded_packet = encoder.encode(&frame)?;
        output_stream.write(&encoded_packet)?;
    }
    
    output_ctx.write_trailer()?;
    
    Ok(())
}

4. 提取音频

use ez_ffmpeg::{
    format::{input, output},
    codec::decoder::audio::AudioDecoder,
};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let mut input_ctx = input("input.mp4")?;
    let audio_stream = input_ctx.streams().audio().nth(0).unwrap();
    let mut decoder = AudioDecoder::from_stream(audio_stream)?;
    
    let mut output_ctx = output("audio_only.mp3")?;
    let mut output_stream = output_ctx.add_stream(&decector)?;
    
    for packet in audio_stream.packets() {
        let frame = decoder.decode(&packet)?;
        output_stream.write(&frame)?;
    }
    
    output_ctx.write_trailer()?;
    
    Ok(())
}

高级功能

1. 视频滤镜处理

use ez_ffmpeg::{
    format::input,
    filter::Graph,
    codec::decoder::video::VideoDecoder,
};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let mut input_ctx = input("input.mp4")?;
    let video_stream = input_ctx.streams().video().nth(0).unwrap();
    let mut decoder = VideoDecoder::from_stream(video_stream)?;
    
    // 创建滤镜图：缩放+旋转
    let mut filter_graph = Graph::new();
    filter_graph
        .add_input("in", decoder.parameters())?
        .add_output("out")?
        .parse("scale=640:480,rotate=30*PI/180")?;
    
    for packet in video_stream.packets() {
        let frame = decoder.decode(&packet)?;
        let filtered_frames = filter_graph.process("in", frame)?;
        
        for filtered_frame in filtered_frames {
            println!("处理后的帧: {:?}", filtered_frame);
        }
    }
    
    Ok(())
}

2. 硬件加速解码

use ez_ffmpeg::{
    format::input,
    codec::decoder::video::VideoDecoder,
    hardware::DeviceType,
};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let mut input_ctx = input("input.mp4")?;
    let video_stream = input_ctx.streams().video().nth(0).unwrap();
    
    // 使用CUDA硬件加速
    let mut decoder = VideoDecoder::from_stream(video_stream)?
        .hardware_device(DeviceType::CUDA)?
        .build()?;
    
    for packet in video_stream.packets() {
        let frame = decoder.decode(&packet)?;
        println!("硬件解码帧: {:?}", frame);
    }
    
    Ok(())
}

完整示例

下面是一个完整的视频转码示例，包含错误处理和硬件加速：

use ez_ffmpeg::{
    format::{input, output},
    codec::{decoder::video::VideoDecoder, encoder::video::VideoEncoder},
    hardware::DeviceType,
    Error,
};

fn transcode_video(input_path: &str, output_path: &str) -> Result<(), Error> {
    // 打开输入文件
    let mut input_ctx = input(input_path)?;
    let video_stream = input_ctx.streams().video().nth(0).ok_or("No video stream found")?;
    
    // 使用硬件加速解码器
    let mut decoder = VideoDecoder::from_stream(video_stream)?
        .hardware_device(DeviceType::CUDA)?
        .build()?;
    
    // 准备输出文件
    let mut output_ctx = output(output_path)?;
    let mut encoder = VideoEncoder::new("libx264")?
        .width(decoder.width())
        .height(decoder.height())
        .time_base(video_stream.time_base())
        .build()?;
    
    let mut output_stream = output_ctx.add_stream(&encoder)?;
    
    // 处理每一帧
    for packet in video_stream.packets() {
        let frame = decoder.decode(&packet)?;
        let encoded_packet = encoder.encode(&frame)?;
        output_stream.write(&encoded_packet)?;
    }
    
    // 写入文件尾
    output_ctx.write_trailer()?;
    
    Ok(())
}

fn main() -> Result<(), Box<dyn std::error::Error>> {
    transcode_video("input.mp4", "output.mkv")?;
    println!("视频转码完成!");
    Ok(())
}

注意事项

1. 确保系统已正确安装FFmpeg库
2. 处理大文件时注意内存管理
3. 错误处理很重要，FFmpeg操作可能会因各种原因失败
4. 多线程环境下需要正确处理上下文

ez-ffmpeg通过提供更符合Rust习惯的API，大大降低了使用FFmpeg进行音视频处理的复杂度，同时保持了FFmpeg强大的功能特性。