Golang跨平台多格式压缩与归档处理插件库archives的使用

介绍

mholt/archives 是一个跨平台、支持多种格式的Go库，用于处理归档和压缩格式，提供统一的API以及与io/fs兼容的虚拟文件系统。

功能特性

• 流式API
• 自动识别归档和压缩格式：
  • 通过文件名
  • 通过流头部探测
• 统一遍历目录、归档和其他文件作为io/fs文件系统：
  • FileFS
  • DirFS
  • ArchiveFS
• 使用DeepFS无缝进入归档文件
• 压缩和解压文件
• 创建和提取归档文件
• 遍历归档文件
• 从归档中提取特定文件
• 向.tar和.zip归档中插入内容(追加)而无需重新创建整个归档
• 支持多种归档和压缩格式
• 读取受密码保护的7-Zip和RAR文件
• 可扩展(通过注册添加更多格式)
• 跨平台，静态二进制
• 纯Go实现(无cgo)
• 多线程Gzip
• 可调压缩级别
• 超快的Snappy实现(通过S2)

支持的压缩格式

• brotli (.br)
• bzip2 (.bz2)
• flate (.zip)
• gzip (.gz)
• lz4 (.lz4)
• lzip (.lz)
• minlz (.mz)
• snappy (.sz) 和 S2 (.s2)
• xz (.xz)
• zlib (.zz)
• zstandard (.zst)

支持的归档格式

• .zip
• .tar (包括压缩变体如.tar.gz)
• .rar (只读)
• .7z (只读)

安装

$ go get github.com/mholt/archives

使用示例

创建归档

ctx := context.TODO()

// 将磁盘文件映射到归档中的路径
files, err := archives.FilesFromDisk(ctx, nil, map[string]string{
    "/path/on/disk/file1.txt": "file1.txt",
    "/path/on/disk/file2.txt": "subfolder/file2.txt",
    "/path/on/disk/file3.txt": "",              // 放在归档根目录作为file3.txt
    "/path/on/disk/file4.txt": "subfolder/",    // 放在子文件夹作为file4.txt
    "/path/on/disk/folder":    "Custom Folder", // 递归添加内容
})
if err != nil {
    return err
}

// 创建输出文件
out, err := os.Create("example.tar.gz")
if err != nil {
    return err
}
defer out.Close()

// 使用CompressedArchive类型来gzip压缩tar包
format := archives.CompressedArchive{
    Compression: archives.Gz{},
    Archival:    archives.Tar{},
}

// 创建归档
err = format.Archive(ctx, out, files)
if err != nil {
    return err
}

提取归档

// 用于读取输入流的类型
var format archives.Zip

err := format.Extract(ctx, input, func(ctx context.Context, f archives.FileInfo) error {
    // 在这里处理文件；或者如果你只想要特定文件或目录，
    // 只需返回直到遇到所需的f.NameInArchive值
    return nil
})
if err != nil {
    return err
}

识别格式

// 除非你的流是io.Seeker，否则使用返回的stream值以确保重新读取Identify()期间消耗的字节
format, stream, err := archives.Identify(ctx, "filename.tar.zst", stream)
if err != nil {
    return err
}

// 现在可以将format类型断言为你需要的类型

// 想要提取内容？
if ex, ok := format.(archives.Extractor); ok {
    // ... 继续提取
}

// 或者可能是压缩的，你想解压它？
if decomp, ok := format.(archives.Decompressor); ok {
    rc, err := decomp.OpenReader(unknownFile)
    if err != nil {
        return err
    }
    defer rc.Close()

    // 从rc读取获取解压后的数据
}

虚拟文件系统

// filename可以是：
// - 文件夹("/home/you/Desktop")
// - 归档("example.zip")
// - 压缩归档("example.tar.gz")
// - 常规文件("example.txt")
// - 压缩的常规文件("example.txt.gz")
// 和/或最后一个参数可以是上述任何内容的流
fsys, err := archives.FileSystem(ctx, filename, nil)
if err != nil {
    return err
}

压缩数据

// 包装底层writer w
compressor, err := archives.Zstd{}.OpenWriter(w)
if err != nil {
    return err
}
defer compressor.Close()

// 写入compressor的数据将被压缩

解压数据

// 包装底层reader r
decompressor, err := archives.Snappy{}.OpenReader(r)
if err != nil {
    return err
}
defer decompressor.Close()

// 从decompressor读取的数据将被解压

追加到tar和zip归档

tarball, err := os.OpenFile("example.tar", os.O_RDWR, 0644)
if err != nil {
    return err
}
defer tarball.Close()

// 准备一个文本文件放在归档根目录
files, err := archives.FilesFromDisk(nil, map[string]string{
    "/home/you/lastminute.txt": "",
})

err := archives.Tar{}.Insert(context.Background(), tarball, files)
if err != nil {
    return err
}

遍历归档内容

fsys := &archives.DeepFS{Root: "/some/dir"}

err := fs.WalkDir(fsys, ".", func(fpath string, d fs.DirEntry, err error) error {
    ...
})

注意事项

• 对于.tar文件：由于tar文件的历史设计(针对顺序访问的磁带)，它们不能高效地实现文件系统语义。文件系统本质上假设存在某种索引以支持随机访问，但tar文件需要从头开始读取才能访问末尾的内容。当归档被压缩时尤其慢。已实现优化来分摊ReadDir()调用，以便fs.WalkDir()只需扫描归档一次，但它们会使用更多内存。Open调用需要另一次扫描来查找文件。如果文件系统语义对你来说不重要，直接使用Tar.Extract()可能更高效。

• 与http.FileServer一起使用时：由于http.FileServer的工作方式，不要直接将其与压缩文件一起使用；而是像下面这样包装它：

fileServer := http.FileServer(http.FS(archiveFS))
http.HandleFunc("/", func(writer http.ResponseWriter, request *http.Request) {
    // 禁用范围请求
    writer.Header().Set("Accept-Ranges", "none")
    request.Header.Del("Range")
    
    // 禁用内容类型嗅探
    ctype := mime.TypeByExtension(filepath.Ext(request.URL.Path))
    writer.Header()["Content-Type"] = nil
    if ctype != "" {
        writer.Header().Set("Content-Type", ctype)
    }
    fileServer.ServeHTTP(writer, request)
})