以下是根据您提供的内容整理的Rust HDF5库使用指南，包含完整示例代码：

Rust HDF5数据处理库hdf5的使用指南

HDF5是一种高性能的科学数据存储格式，Rust的hdf5库提供了对HDF5格式的完整支持，适用于需要处理大型科学数据集的场景。

安装

在Cargo.toml中添加依赖：

[dependencies]
hdf5 = "0.8"
ndarray = "0.15"  # 用于数组操作

完整示例代码

use hdf5::{File, Result};
use ndarray::{arr2, ArrayD};

fn main() -> Result<()> {
    // 示例1: 创建HDF5文件并写入数据
    create_and_write()?;
    
    // 示例2: 读取HDF5文件
    read_file()?;
    
    // 示例3: 处理大型数据集
    large_dataset()?;
    
    // 示例4: 创建组和复杂数据结构
    groups_and_compound()?;
    
    Ok(())
}

// 示例1: 创建HDF5文件并写入数据
fn create_and_write() -> Result<()> {
    // 创建新文件
    let file = File::create("data.h5")?;
    
    // 创建数据集
    let dataset = file
        .new_dataset::<f64>()
        .shape([3, 3])
        .create("my_matrix")?;
    
    // 使用ndarray创建数据并写入
    let data = arr2(&[
        [1.0, 2.0, 3.0], 
        [4.0, 5.0, 6.0], 
        [7.0, 8.0, 9.0]
    ]);
    dataset.write(&data)?;
    
    // 添加属性
    dataset
        .new_attr::<&str>()
        .create("description")?
        .write("A simple 3x3 matrix")?;
    
    Ok(())
}

// 示例2: 读取HDF5文件
fn read_file() -> Result<()> {
    // 打开文件
    let file = File::open("data.h5")?;
    
    // 读取数据集
    let dataset = file.dataset("my_matrix")?;
    let data: ArrayD<f64> = dataset.read()?;
    
    println!("Data shape: {:?}", data.shape());
    println!("Data:\n{:?}", data);
    
    // 读取属性
    if let Ok(attr) = dataset.attr("description") {
        let desc: String = attr.read_scalar()?;
        println!("Description: {}", desc);
    }
    
    Ok(())
}

// 示例3: 处理大型数据集（分块存储）
fn large_dataset() -> Result<()> {
    let file = File::create("large.h5")?;
    
    // 创建分块数据集（1000x1000矩阵，分块大小为100x100）
    file.new_dataset::<f64>()
        .shape([1000, 1000])
        .chunk([100, 100])
        .create("large_matrix")?;
    
    Ok(())
}

// 示例4: 创建组和复杂数据结构
fn groups_and_compound() -> Result<()> {
    let file = File::create("compound.h5")?;
    
    // 创建组
    let group = file.create_group("experiment")?;
    
    // 创建复合数据类型
    let dtype = hdf5::CompoundType::new(&[
        ("timestamp", hdf5::Datatype::from_type::<f64>()),
        ("value", hdf5::Datatype::from_type::<f32>()),
        ("valid", hdf5::Datatype::from_type::<bool>()),
    ])?;
    
    // 创建复合数据集
    group.new_dataset_with_dtype(&dtype)
        .shape([10])  // 10条记录
        .create("measurements")?;
    
    Ok(())
}

高级功能示例

并行访问（需要启用mpio特性）

// 在Cargo.toml中添加:
// hdf5 = { version = "0.8", features = ["mpio"] }

#[cfg(feature = "mpio")]
use hdf5::{File, Result, mpi};

#[cfg(feature = "mpio")]
fn parallel_example() -> Result<()> {
    let comm = mpi::Communicator::world()?;
    let file = File::open_parallel("parallel.h5", "rw", comm)?;
    
    // 这里可以添加并行读写操作
    
    Ok(())
}

压缩数据集

fn compressed_dataset() -> Result<()> {
    let file = File::create("compressed.h5")?;
    
    file.new_dataset::<f64>()
        .shape([100, 100])
        .chunk([10, 10])
        .deflate(6)  // 压缩级别(0-9)
        .create("compressed_data")?;
    
    Ok(())
}

关键注意事项

1. 类型匹配非常重要，使用hdf5::Datatype::from_type::<T>()确保Rust类型与HDF5类型兼容

2. 错误处理应使用?操作符传播错误，因为大多数操作都返回Result

3. 多线程环境下需要启用threadsafe特性：

hdf5 = { version = "0.8", features = ["threadsafe"] }

1. 性能优化建议：

• 对大型数据集使用分块存储
• 考虑启用压缩
• 批量写入比多次小写入更高效