Skizze - Golang概率数据结构服务与存储插件库

Skizze是一个用Go编写的概率数据结构服务，它提供了Bloom过滤器、HyperLogLog等概率数据结构的实现，可以作为服务运行或嵌入到应用中。

主要特性

• 支持多种概率数据结构
• 可作为独立服务运行
• 提供RESTful API接口
• 支持持久化存储
• 高性能Go实现

安装

go get github.com/seiflotfy/skizze

数据结构支持

Skizze支持以下概率数据结构：

1. Bloom Filter - 高效成员检测
2. Count-Min Sketch - 频率估计
3. HyperLogLog - 基数估计

使用示例

1. 作为服务运行

skizze -config /path/to/config.json

2. Go客户端使用示例

package main

import (
	"fmt"
	"log"

	"github.com/seiflotfy/skizze/client"
)

func main() {
	// 创建客户端连接
	cli, err := client.New("localhost:3596")
	if err != nil {
		log.Fatal(err)
	}
	defer cli.Close()

	// 创建Bloom Filter
	domain := "test-domain"
	typ := "bloom"
	err = cli.Create(domain, typ)
	if err != nil {
		log.Fatal(err)
	}

	// 添加元素
	elements := []string{"item1", "item2", "item3"}
	err = cli.Add(domain, elements...)
	if err != nil {
		log.Fatal(err)
	}

	// 检查元素是否存在
	exists, err := cli.Exists(domain, "item1")
	if err != nil {
		log.Fatal(err)
	}
	fmt.Printf("Item1 exists: %v\n", exists)

	// 获取Bloom Filter信息
	info, err := cli.Info(domain)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Printf("Bloom Filter info: %+v\n", info)

	// 删除域
	err = cli.Delete(domain)
	if err != nil {
		log.Fatal(err)
	}
}

3. HyperLogLog使用示例

func hyperLogLogExample(cli *client.Client) {
	domain := "hll-domain"
	typ := "hll"
	
	// 创建HyperLogLog
	err := cli.Create(domain, typ)
	if err != nil {
		log.Fatal(err)
	}

	// 添加元素
	elements := []string{"a", "b", "c", "d", "a", "b"}
	err = cli.Add(domain, elements...)
	if err != nil {
		log.Fatal(err)
	}

	// 获取基数估计
	count, err := cli.Count(domain)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Printf("Estimated unique elements: %d\n", count)
}

4. Count-Min Sketch使用示例

func countMinSketchExample(cli *client.Client) {
	domain := "cms-domain"
	typ := "cms"
	
	// 创建Count-Min Sketch
	err := cli.Create(domain, typ)
	if err != nil {
		log.Fatal(err)
	}

	// 添加元素
	elements := []string{"a", "b", "c", "a", "a", "b"}
	err = cli.Add(domain, elements...)
	if err != nil {
		log.Fatal(err)
	}

	// 获取元素频率
	freq, err := cli.Frequency(domain, "a")
	if err != nil {
		log.Fatal(err)
	}
	fmt.Printf("Frequency of 'a': %d\n", freq)
}

配置选项

Skizze可以通过配置文件自定义：

{
  "address": "localhost:3596",
  "dataDir": "/var/lib/skizze",
  "storage": {
    "type": "leveldb",
    "path": "/var/lib/skizze/data"
  },
  "log": {
    "level": "info",
    "path": "/var/log/skizze.log"
  }
}

性能考虑

1. 对于大规模数据集，Bloom Filter可能需要较多内存
2. HyperLogLog在精度和内存使用之间提供了良好的平衡
3. Count-Min Sketch的精度取决于其宽度和深度

适用场景

• 重复数据检测
• 用户访问统计
• 大数据集的近似查询
• 网络流量监控
• 推荐系统去重

Skizze为Go开发者提供了一个简单高效的概率数据结构解决方案，既可作为独立服务也可作为库嵌入到应用中。