golang轻量级线程安全内存日志数据结构插件库memlog的使用

memlog是一个易于使用、轻量级、线程安全且仅追加的内存数据结构，被建模为一个日志(Log)。

关于

memlog是一个简单易用的Go库，提供了以下特性：

• 轻量级（内存中）
• 线程安全
• 仅追加的日志
• 最小化API
• 使用Go标准库原语

❌ 注意：这个包不是提供内存中的logging库。

基本用法

ml, _ := memlog.New(ctx) // 创建日志
offset, _ := ml.Write(ctx, []byte("Hello World")) // 写入数据
record, _ := ml.Read(ctx, offset) // 读取数据
fmt.Printf(string(record.Data)) // 输出 "Hello World"

完整示例

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/embano1/memlog"
)

func main() {
	ctx := context.Background()
	l, err := memlog.New(ctx)
	if err != nil {
		fmt.Printf("create log: %v", err)
		os.Exit(1)
	}

	offset, err := l.Write(ctx, []byte("Hello World"))
	if err != nil {
		fmt.Printf("write: %v", err)
		os.Exit(1)
	}

	fmt.Printf("reading record at offset %d\n", offset)
	record, err := l.Read(ctx, offset)
	if err != nil {
		fmt.Printf("read: %v", err)
		os.Exit(1)
	}

	fmt.Printf("data says: %s", record.Data)

	// 输出:
	// reading record at offset 0
	// data says: Hello World
}

日志清理

日志分为active和history两个段(segment)。当active段满了（可通过WithMaxSegmentSize()配置），它会被密封（变为只读）并成为history段。同时会创建一个新的空active段用于写入。如果已有history段，它会被替换，即所有记录都会被清除。

多日志实例

你可以创建多个日志实例，适用于以下场景：

• 管理进程中完全不同的数据集/大小
• 设置不同的日志大小（即保留时间）
• 按类型或键(key)分区输入数据

流式API

除了手动轮询日志获取新记录外，应该使用流式APILog.Stream(ctx, startOffset)。

性能基准

以下是在MacBook上的基准测试结果（日志大小为1000条记录）：

go test -v -run=none -bench=. -cpu 1,2,4,8,16 -benchmem
goos: darwin
goarch: amd64
pkg: github.com/embano1/memlog
cpu: Intel(R) Core(TM) i9-9980HK CPU @ 2.40GHz
BenchmarkLog_write
BenchmarkLog_write              11107804               103.0 ns/op            89 B/op          1 allocs/op
BenchmarkLog_write-2            11115896               107.1 ns/op            89 B/op          1 allocs/op
BenchmarkLog_write-4            11419497               105.7 ns/op            89 B/op          1 allocs/op
BenchmarkLog_write-8            10253677               109.6 ns/op            89 B/op          1 allocs/op
BenchmarkLog_write-16           10865994               107.7 ns/op            89 B/op          1 allocs/op
BenchmarkLog_read
BenchmarkLog_read               24461548                49.49 ns/op           32 B/op          1 allocs/op
BenchmarkLog_read-2             25002574                46.63 ns/op           32 B/op          1 allocs/op
BenchmarkLog_read-4             23829378                47.47 ns/op           32 B/op          1 allocs/op
BenchmarkLog_read-8             22936821                47.47 ns/op           32 B/op          1 allocs/op
BenchmarkLog_read-16            24121807                48.25 ns/op           32 B/op          1 allocs/op
PASS
ok      github.com/embano1/memlog       12.541s

memlog适用于需要将数据从外部系统提取并存储到内存日志（类似于有序缓存）的场景，然后可以通过现代流式API（如gRPC或HTTP/REST）异步、有序（基于偏移量）和并发地为远程客户端提供服务。