Golang支持ACID事务的简单键值数据库插件库Coffer的使用

Coffer是一个简单的ACID键值数据库，在中等甚至低延迟情况下，它试图在不失去数据库ACID属性的前提下提供更高的吞吐量。

特性

• 高吞吐量
• 可容忍的延迟
• 高可靠性

ACID特性：

• 良好的持久性
• 强制隔离
• 原子操作
• 一致性事务

快速开始

下面是一个使用Coffer的简单示例：

package main

import (
	"fmt"

	"github.com/claygod/coffer"
)

const curDir = "./"

func main() {
	// 初始化数据库
	db, err, wrn := coffer.Db(curDir).Create()
	switch {
	case err != nil:
		fmt.Println("Error:", err)
		return
	case wrn != nil:
		fmt.Println("Warning:", err)
		return
	}
	if !db.Start() {
		fmt.Println("Error: not start")
		return
	}
	defer db.Stop()

	// 写入数据
	if rep := db.Write("foo", []byte("bar")); rep.IsCodeError() {
		fmt.Sprintf("Write error: code `%d` msg `%s`", rep.Code, rep.Error)
		return
	}

	// 读取数据
	rep := db.Read("foo")
	if rep.IsCodeError() {
		fmt.Sprintf("Read error: code `%v` msg `%v`", rep.Code, rep.Error)
		return
	}
	fmt.Println(string(rep.Data))
}

事务处理示例

Coffer支持自定义事务处理器，以下是两个示例：

不使用参数的事务处理器

func HandlerExchange(arg []byte, recs map[string][]byte) (map[string][]byte, error) {
	if arg != nil {
		return nil, fmt.Errorf("Args not null.")
	} else if len(recs) != 2 {
		return nil, fmt.Errorf("Want 2 records, have %d", len(recs))
	}
	recsKeys := make([]string, 0, 2)
	recsValues := make([][]byte, 0, 2)
	for k, v := range recs {
		recsKeys = append(recsKeys, k)
		recsValues = append(recsValues, v)
	}
	out := make(map[string][]byte, 2)
	out[recsKeys[0]] = recsValues[1]
	out[recsKeys[1]] = recsValues[0]
	return out, nil
}

使用参数的事务处理器

func HandlerDebit(arg []byte, recs map[string][]byte) (map[string][]byte, error) {
	if arg == nil || len(arg) != 8 {
		return nil, fmt.Errorf("Invalid Argument: %v.", arg)
	} else if len(recs) != 1 {
		return nil, fmt.Errorf("Want 1 record, have %d", len(recs))
	}
	delta := bytesToUint64(arg)
	var recKey string
	var recValue []byte
	for k, v := range recs {
		recKey = k
		recValue = v
	}
	if len(recValue) != 8 {
		return nil, fmt.Errorf("The length of the value in the record is %d bytes, but 8 bytes are needed", len(recValue))
	}
	curAmount := bytesToUint64(recValue)
	newAmount := curAmount + delta
	if curAmount > newAmount {
		return nil, fmt.Errorf("Account overflow. There is %d, a debit of %d.", curAmount, delta)
	}
	return map[string][]byte{recKey: uint64ToBytes(newAmount)}, nil
}

主要API方法

• Start() - 启动数据库
• Stop() - 停止数据库
• StopHard() - 强制停止数据库
• Write() - 写入单个记录
• WriteList() - 写入多个记录
• Read() - 读取单个记录
• ReadList() - 读取多个记录
• Delete() - 删除单个记录
• DeleteListStrict() - 严格模式删除多个记录
• DeleteListOptional() - 可选模式删除多个记录
• Transaction() - 执行事务
• Count() - 获取记录数
• RecordsList() - 获取所有键列表
• RecordsListWithPrefix() - 获取具有指定前缀的键列表
• RecordsListWithSuffix() - 获取具有指定后缀的键列表

注意：所有名称包含"Unsafe"的请求通常可以在数据库运行或停止(不运行)时执行。

配置选项

创建数据库时可以配置以下参数：

Db(dirPath).
	BatchSize(batchSize).
	LimitRecordsPerLogfile(limitRecordsPerLogfile).
	FollowPause(100*time.Second).
	LogsByCheckpoint(1000).
	AllowStartupErrLoadLogs(true).
	MaxKeyLength(maxKeyLength).
	MaxValueLength(maxValueLength).
	MaxRecsPerOperation(1000000).
	RemoveUnlessLogs(true).
	LimitMemory(100 * 1000000).
	LimitDisk(1000 * 1000000).
	Handler("handler1", &handler1).
	Handler("handler2", &handler2).
	Handlers(map[string]*handler).
	Create()

错误代码

Coffer使用以下错误代码：

• Ok - 操作成功完成
• Error - 未完成或未完全完成，但可以继续工作
• ErrRecordLimitExceeded - 每个操作的记录限制超出
• ErrExceedingMaxValueSize - 值太长
• ErrExceedingMaxKeyLength - 键太长
• ErrExceedingZeroKeyLength - 键太短
• ErrHandlerNotFound - 未找到处理器
• ErrParseRequest - 日志请求准备失败
• ErrResources - 资源不足
• ErrNotFound - 未找到键
• ErrReadRecords - 事务读取记录错误
• ErrHandlerReturn - 处理器返回错误
• ErrHandlerResponse - 处理器返回不完整回复
• Panic - 未完成，无法继续使用数据库
• PanicStopped - 应用已停止
• PanicWAL - 操作日志出错

性能基准

• BenchmarkCofferWriteParallel32LowConcurent-4: 100000 12933 ns/op
• BenchmarkCofferTransactionSequence-4: 2000 227928 ns/op
• BenchmarkCofferTransactionPar32NotConcurent-4: 100000 4132 ns/op
• BenchmarkCofferTransactionPar32HalfConcurent-4: 100000 4199 ns/op

依赖项

• github.com/shirou/gopsutil/disk
• github.com/shirou/gopsutil/mem
• github.com/sirupsen/logrus

Coffer是一个功能强大且灵活的键值数据库，特别适合需要ACID事务保证的应用场景。