dsunit: Go语言数据存储测试插件库

dsunit是一个用于测试SQL、NoSQL和结构化文件数据存储的Go语言插件库，它提供了一套统一的API来准备测试数据、验证存储结果以及清理测试环境。

主要特性

1. 支持多种数据库类型：MySQL, PostgreSQL, Oracle, SQL Server, SQLite等
2. 支持NoSQL数据库：MongoDB, DynamoDB等
3. 支持结构化文件：CSV, JSON, XML等
4. 提供数据准备和验证功能
5. 支持测试数据的外部化配置

安装

go get github.com/viant/dsunit

基本使用示例

1. 初始化测试环境

import (
	"github.com/viant/dsunit"
	"testing"
)

func TestMain(m *testing.M) {
	// 初始化测试环境
	dsunit.InitDatastores()
	
	// 运行测试
	m.Run()
	
	// 清理测试环境
	dsunit.CleanupDatastores()
}

2. SQL数据库测试示例

func TestSQLDatabase(t *testing.T) {
	// 注册数据库连接
	err := dsunit.RegisterDatabase("test_db", "mysql", "user:password@tcp(localhost:3306)/testdb?parseTime=true")
	if err != nil {
		t.Fatalf("Failed to register database: %v", err)
	}

	// 准备测试数据
	err = dsunit.PrepareDatastore("test_db", "testdata/users.json")
	if err != nil {
		t.Fatalf("Failed to prepare data: %v", err)
	}

	// 执行测试逻辑
	// ...

	// 验证数据库状态
	expectations := dsunit.NewExpectation()
	expectations.AddTable("users", dsunit.NewTableExpectation(
		dsunit.WithRowCount(3),
		dsunit.WithColumnValues("status", "active"),
	))
	
	results, err := dsunit.ExpectDatastore("test_db", expectations)
	if err != nil {
		t.Fatalf("Validation failed: %v", err)
	}
	
	if !results.Valid() {
		t.Errorf("Data validation failed: %v", results)
	}
}

3. MongoDB测试示例

func TestMongoDB(t *testing.T) {
	// 注册MongoDB连接
	err := dsunit.RegisterDatastore("test_mongo", "mongodb://localhost:27017/testdb")
	if err != nil {
		t.Fatalf("Failed to register MongoDB: %v", err)
	}

	// 准备测试数据
	err = dsunit.PrepareDatastore("test_mongo", "testdata/products.json")
	if err != nil {
		t.Fatalf("Failed to prepare data: %v", err)
	}

	// 执行测试逻辑
	// ...

	// 验证MongoDB集合
	expectations := dsunit.NewExpectation()
	expectations.AddCollection("products", dsunit.NewDocumentExpectation(
		dsunit.WithDocumentCount(5),
		dsunit.WithFieldValue("category", "electronics"),
	))
	
	results, err := dsunit.ExpectDatastore("test_mongo", expectations)
	if err != nil {
		t.Fatalf("Validation failed: %v", err)
	}
	
	if !results.Valid() {
		t.Errorf("Data validation failed: %v", results)
	}
}

4. CSV文件测试示例

func TestCSVFile(t *testing.T) {
	// 注册CSV文件存储
	err := dsunit.RegisterDatastore("test_csv", "file:///path/to/csv/files")
	if err != nil {
		t.Fatalf("Failed to register CSV storage: %v", err)
	}

	// 准备测试数据
	err = dsunit.PrepareDatastore("test_csv", "testdata/orders.csv")
	if err != nil {
		t.Fatalf("Failed to prepare data: %v", err)
	}

	// 执行测试逻辑
	// ...

	// 验证CSV文件内容
	expectations := dsunit.NewExpectation()
	expectations.AddFile("orders.csv", dsunit.NewFileExpectation(
		dsunit.WithRowCount(10),
		dsunit.WithColumnValues("status", "completed"),
	))
	
	results, err := dsunit.ExpectDatastore("test_csv", expectations)
	if err != nil {
		t.Fatalf("Validation failed: %v", err)
	}
	
	if !results.Valid() {
		t.Errorf("Data validation failed: %v", results)
	}
}

测试数据文件格式

dsunit支持JSON格式的测试数据文件，例如：

{
  "users": [
    {
      "id": 1,
      "name": "John Doe",
      "email": "john@example.com",
      "status": "active"
    },
    {
      "id": 2,
      "name": "Jane Smith",
      "email": "jane@example.com",
      "status": "active"
    }
  ]
}

高级功能

1. 数据模板：支持使用Go模板语法动态生成测试数据
2. 变量替换：支持在测试数据中使用变量
3. 数据序列：支持自动生成序列ID
4. 关联数据：支持跨表/集合的数据关联

最佳实践

1. 将测试数据外部化到JSON/CSV文件中
2. 为每个测试用例准备独立的数据集
3. 在测试完成后清理测试数据
4. 使用明确的验证条件确保测试可靠性
5. 考虑使用事务回滚来保持测试隔离性

dsunit提供了一种统一的方式来测试不同类型的数据存储，使得测试代码更加简洁和可维护。通过将测试数据外部化，可以更容易地维护和共享测试用例。