请教：为何重复执行Python程序时，HDF5文件会越来愈大？

这个问题很常见，通常是因为你每次运行程序时都以“追加”模式向HDF5文件写入数据，而没有删除旧的同名数据集。

HDF5文件在写入同名数据集时，默认行为不是覆盖，而是保留旧数据并创建新版本（如果使用'a'模式），或者直接报错（如果使用'w'模式）。这会导致文件体积不断膨胀。

核心原因与解决方案：

1. 根本原因：使用h5py.File('your_file.h5', 'a')打开文件并写入同名dataset时，即使数据内容相同，HDF5库也会创建新的数据存储空间，旧数据依然占用磁盘。
2. 标准做法：在写入新数据前，先检查并删除已存在的同名数据集或组。

这里是一个清晰的代码示例，展示了如何避免这个问题：

import h5py
import numpy as np

# 假设这是你每次运行生成的新数据
new_data = np.random.randn(100, 50)
file_path = 'data.h5'

with h5py.File(file_path, 'a') as f: # 使用‘a’（追加/读写）模式打开
    target_dataset_name = '/my_dataset'

    # 关键步骤：如果同名数据集已存在，则先删除它
    if target_dataset_name in f:
        del f[target_dataset_name]
        print(f"已删除旧数据集: {target_dataset_name}")

    # 然后创建并写入新的数据集
    f.create_dataset(target_dataset_name, data=new_data)
    print(f"已写入新数据集: {target_dataset_name}")

# 现在，无论你运行多少次这个程序，文件大小都只由这一份new_data决定。

解释一下：

• ‘a’模式：允许读写已存在的文件，这是我们需要的。
• if target_dataset_name in f:：检查文件对象f中是否存在指定路径的条目。
• del f[target_dataset_name]：如果存在，就删除它。这个操作会释放该数据集占用的存储空间。
• create_dataset：随后创建全新的数据集。

一句话总结：在写入HDF5前，记得先检查并删除旧的同名数据集。

感谢你。
刚试了下，
原始文件 1.5M ，没加任何参数的情况下， out.h5 大小为 2.2M 。。
压缩方式上貌似没有 zlib?

当然可以修改压缩级别啊
ptrepack -h

…
--complevel COMPLEVEL
set a compression level (0 for no compression, which
is the default)
--complib {zlib,lzo,bzip2,blosc,blosc:blosclz,blosc:lz4,blosc:lz4hc,blosc:snappy,blosc:zlib}
set the compression library to be used during the
copy. Defaults to zlib