Golang 读写 XZ 压缩文件的高效库使用指南

在 Go 语言中处理 XZ 压缩文件，推荐使用 github.com/ulikunitz/xz 库，这是一个纯 Go 实现的高效 XZ 压缩/解压缩库。

安装

go get github.com/ulikunitz/xz

基本使用示例

1. 压缩数据并写入文件

package main

import (
	"bytes"
	"io"
	"os"
	
	"github.com/ulikunitz/xz"
)

func compressAndWriteToFile() error {
	// 准备要压缩的数据
	data := []byte("这是一段需要压缩的文本数据，可以替换为任意内容...")

	// 创建输出文件
	outFile, err := os.Create("compressed.xz")
	if err != nil {
		return err
	}
	defer outFile.Close()

	// 创建 XZ 写入器
	xzWriter, err := xz.NewWriter(outFile)
	if err != nil {
		return err
	}
	defer xzWriter.Close()

	// 写入数据并压缩
	_, err = xzWriter.Write(data)
	return err
}

2. 从 XZ 文件读取并解压数据

func readAndDecompressFile() error {
	// 打开压缩文件
	inFile, err := os.Open("compressed.xz")
	if err != nil {
		return err
	}
	defer inFile.Close()

	// 创建 XZ 读取器
	xzReader, err := xz.NewReader(inFile)
	if err != nil {
		return err
	}

	// 读取解压后的数据
	var buf bytes.Buffer
	_, err = io.Copy(&buf, xzReader)
	if err != nil {
		return err
	}

	// 使用解压后的数据
	decompressedData := buf.Bytes()
	println(string(decompressedData))
	return nil
}

高级用法

1. 自定义压缩级别

func compressWithCustomLevel() error {
	data := []byte("自定义压缩级别的数据...")
	outFile, err := os.Create("custom_level.xz")
	if err != nil {
		return err
	}
	defer outFile.Close()

	// 配置压缩参数
	config := xz.WriterConfig{
		// 压缩级别 0-9，数字越大压缩率越高但速度越慢
		// 默认是 6
		Level: 9,
	}

	xzWriter, err := config.NewWriter(outFile)
	if err != nil {
		return err
	}
	defer xzWriter.Close()

	_, err = xzWriter.Write(data)
	return err
}

2. 流式处理大文件

func streamLargeFile() error {
	// 压缩大文件
	srcFile, err := os.Open("large_input.txt")
	if err != nil {
		return err
	}
	defer srcFile.Close()

	destFile, err := os.Create("large_output.xz")
	if err != nil {
		return err
	}
	defer destFile.Close()

	xzWriter, err := xz.NewWriter(destFile)
	if err != nil {
		return err
	}
	defer xzWriter.Close()

	// 流式复制，避免内存占用过高
	_, err = io.Copy(xzWriter, srcFile)
	return err
}

3. 内存中压缩/解压缩

func inMemoryCompression() error {
	// 原始数据
	data := []byte("内存中压缩的数据...")
	
	// 压缩到内存缓冲区
	var compressed bytes.Buffer
	xzWriter, err := xz.NewWriter(&compressed)
	if err != nil {
		return err
	}
	
	if _, err = xzWriter.Write(data); err != nil {
		return err
	}
	if err = xzWriter.Close(); err != nil {
		return err
	}
	
	// 从内存缓冲区解压
	xzReader, err := xz.NewReader(&compressed)
	if err != nil {
		return err
	}
	
	decompressed, err := io.ReadAll(xzReader)
	if err != nil {
		return err
	}
	
	println(string(decompressed))
	return nil
}

性能优化建议

1. 缓冲区大小：对于大文件，使用适当的缓冲区可以提高性能
2. 并发处理：对于多个文件的压缩/解压，可以使用 goroutine 并行处理
3. 压缩级别选择：根据需求平衡压缩率和速度

注意事项

1. 确保在完成写入后调用 Close() 方法，否则压缩文件可能不完整
2. 处理大文件时使用流式处理，避免内存不足
3. 检查错误返回值，确保操作成功

ulikunitz/xz 库是纯 Go 实现，不依赖外部库，适合在各种平台上使用。如果需要更高级的功能或更好的性能，也可以考虑使用 CGO 封装的 github.com/xi2/xz，但它需要系统安装 liblzma 库。