Rust HDF5数据处理库hdf5-types使用指南

hdf5-types是Rust生态中用于高效读写和操作HDF5文件格式的库，它提供了与Rust类型系统的深度集成，使得处理科学数据更加方便和安全。

基本介绍

HDF5(Hierarchical Data Format version 5)是一种常用的科学数据存储格式，广泛应用于大数据、科学计算和机器学习领域。hdf5-types库提供了：

• 类型安全的HDF5数据读写接口
• Rust原生类型与HDF5类型的自动转换
• 高效的内存管理和数据处理
• 支持复合数据类型和并行IO

安装方法

在Cargo.toml中添加依赖：

[dependencies]
hdf5-types = "0.10"
hdf5 = "0.8"

基本使用方法

1. 创建HDF5文件并写入数据

use hdf5_types::{H5Type, File, Dataset};
use ndarray::Array;

#[derive(H5Type, Clone, PartialEq, Debug)]
#[repr(C)]
struct MyData {
    a: i32,
    b: f64,
    c: [u8; 4],
}

fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 创建新文件
    let file = File::create("data.h5")?;
    
    // 创建数据集
    let data = vec![
        MyData { a: 1, b: 2.0, c: [1, 2, 3, 4] },
        MyData { a: 3, b: 4.0, c: [5, 6, 7, 8] },
    ];
    
    let dataset = file.create_dataset::<MyData>("my_data", data.len())?;
    dataset.write(&data)?;
    
    // 写入数值数组
    let array = Array::linspace(0.0, 1.0, 100).into_shape((10, 10))?;
    file.new_dataset::<f64>().shape([10, 10]).create("array")?.write(&array)?;
    
    Ok(())
}

2. 读取HDF5文件数据

use hdf5_types::{File, H5Type};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 打开现有文件
    let file = File::open("data.h5")?;
    
    // 读取数据集
    let dataset = file.dataset("my_data")?;
    let data: Vec<MyData> = dataset.read()?;
    println!("Read data: {:?}", data);
    
    // 读取数值数组
    let array_ds = file.dataset("array")?;
    let array: ndarray::Array2<f64> = array_ds.read()?;
    println!("Array sum: {}", array.sum());
    
    Ok(())
}

3. 处理复合数据类型

use hdf5_types::{H5Type, File};

#[derive(H5Type, Clone, Debug)]
#[repr(C)]
struct CompoundType {
    id: i64,
    timestamp: f64,
    values: [f32; 3],
    flag: bool,
}

fn handle_complex_data() -> Result<(), Box<dyn std::error::Error>> {
    let file = File::create("compound.h5")?;
    
    let data = vec![
        CompoundType { id: 1, timestamp: 12345.678, values: [1.极佳实践，这是一个完整的HDF5文件操作示例，展示了如何创建、写入和读取HDF5文件：

```rust
use hdf5_types::{H5Type, File, Dataset};
use ndarray::{Array, Array2};
use serde::{Serialize, Deserialize};

// 定义一个复合数据类型
#[derive(H5Type, Clone, Debug, Serialize, Deserialize)]
#[repr(C)]
struct SensorData {
    timestamp: f64,
    temperature: f32,
    pressure: f32,
    status: u8,
}

fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 示例1: 创建HDF5文件并写入数据
    create_and_write_hdf5()?;
    
    // 示例2: 读取HDF5文件数据
    read_hdf5_data()?;
    
    // 示例3: 处理大型数据集
    handle_large_dataset()?;
    
    Ok(())
}

fn create_and_write_hdf5() -> Result<(), Box<dyn std::error::Error>> {
    // 创建新文件
    let file = File::create("sensor_data.h5")?;
    
    // 创建并写入传感器数据
    let sensor_readings = vec![
        SensorData { timestamp: 1620000000.0, temperature: 25.3, pressure: 101.3, status: 1 },
        SensorData { timestamp: 1620000600.0, temperature: 26.1, pressure: 101.2, status: 1 },
        SensorData { timestamp: 1620001200.0, temperature: 26.5, pressure: 101.1, status: 0 },
    ];
    
    file.new_dataset::<SensorData>()
        .shape([sensor_readings.len()])
        .create("readings")?
        .write(&sensor_readings)?;
    
    // 写入数值矩阵
    let matrix = Array::linspace(0.0, 1.0, 100).into_shape((10, 10))?;
    file.new_dataset::<f64>()
        .shape([10, 10])
        .create("matrix")?
        .write(&matrix)?;
    
    println!("数据写入成功");
    Ok(())
}

fn read_hdf5_data() -> Result<(), Box<dyn std::error::Error>> {
    // 打开现有文件
    let file = File::open("sensor_data.h5")?;
    
    // 读取传感器数据
    let dataset = file.dataset("readings")?;
    let data: Vec<SensorData> = dataset.read()?;
    println!("读取到 {} 条传感器数据:", data.len());
    for reading in &data {
        println!("{:.1}s, {:.1}°C, {:.1}kPa, 状态: {}",
               reading.timestamp, reading.temperature, 
               reading.pressure, reading.status);
    }
    
    // 读取矩阵数据
    let matrix_ds = file.dataset("matrix")?;
    let matrix: Array2<f64> = matrix_ds.read()?;
    println!("矩阵维度: {:?}, 总和: {:.2}", matrix.dim(), matrix.sum());
    
    Ok(())
}

fn handle_large_dataset() -> Result<(), Box<dyn std::error::Error>> {
    // 创建大型数据集（使用分块和压缩）
    let file = File::create("large_data.h5")?;
    
    // 定义分块大小和压缩级别
    let chunk_size = [100, 100];
    let compression_level = 5;
    
    // 创建分块压缩数据集
    file.new_dataset::<f64>()
        .shape([1000, 1000])  // 1000x1000矩阵
        .chunk(chunk_size)
        .filter(filters::deflate(compression_level))
        .create("large_matrix")?
        .write(&Array2::zeros((1000, 1000)))?;
    
    println!("大型数据集创建成功");
    Ok(())
}

这个完整示例展示了：

1. 定义自定义复合数据类型
2. 创建HDF5文件并写入结构化数据
3. 读取HDF5文件中的结构化数据和数值数据
4. 处理大型数据集（使用分块和压缩）
5. 错误处理和类型安全操作

您可以根据实际需求调整数据类型、数据结构和文件操作方式。