Golang高性能嵌入式内存键值数据库插件库BuntDB的使用

BuntDB是一个纯Go编写的低级别、内存中的键值存储。它具有持久化到磁盘、ACID兼容、支持多读单写锁、自定义索引和地理空间数据等特点。非常适合需要可靠数据库并优先考虑速度而非数据大小的项目。

主要特性

• 内存数据库，读写速度快
• 嵌入式设计，简单API
• 支持多达20维的空间索引，适用于地理空间数据
• 可索引JSON文档中的字段
• 使用可选的collate包支持国际化排序索引
• 可为任何数据类型创建自定义索引
• 支持多值索引，类似于SQL多列索引
• 内置易于使用的类型：String、Uint、Int、Float
• 灵活的数据迭代：升序、降序和范围
• 持久化的仅追加文件格式
• 可通过TTL过期时间自动淘汰旧数据
• 支持ACID语义和可回滚的事务

快速开始

安装

要开始使用BuntDB，请安装Go并运行：

$ go get -u github.com/tidwall/buntdb

打开数据库

BuntDB中的主要对象是DB。要打开或创建数据库，请使用buntdb.Open()函数：

package main

import (
	"log"
	"github.com/tidwall/buntdb"
)

func main() {
	// 打开data.db文件，如果不存在则创建
	db, err := buntdb.Open("data.db")
	if err != nil {
		log.Fatal(err)
	}
	defer db.Close()
	// ...
}

也可以打开一个不持久化到磁盘的内存数据库：

buntdb.Open(":memory:") // 打开不持久化到磁盘的文件

事务

所有读写操作都必须在事务中执行。BuntDB可以同时打开多个读事务，但只能有一个写事务。

只读事务

err := db.View(func(tx *buntdb.Tx) error {
	// ...
	return nil
})

读写事务

err := db.Update(func(tx *buntdb.Tx) error {
	// ...
	return nil
})

设置和获取键值

设置值必须打开读写事务：

err := db.Update(func(tx *buntdb.Tx) error {
	_, _, err := tx.Set("mykey", "myvalue", nil)
	return err
})

获取值：

err := db.View(func(tx *buntdb.Tx) error {
	val, err := tx.Get("mykey")
	if err != nil{
		return err
	}
	fmt.Printf("value is %s\n", val)
	return nil
})

迭代

所有键值对都按键排序存储。要迭代键：

err := db.View(func(tx *buntdb.Tx) error {
	err := tx.Ascend("", func(key, value string) bool {
		fmt.Printf("key: %s, value: %s\n", key, value)
		return true // 继续迭代
	})
	return err
})

自定义索引

初始所有数据都存储在单个B树中。您可以创建自定义索引来排序和迭代值。

例如，创建一个按名称排序的索引：

db.CreateIndex("names", "*", buntdb.IndexString)

添加一些名称：

db.Update(func(tx *buntdb.Tx) error {
	tx.Set("user:0:name", "tom", nil)
	tx.Set("user:1:name", "Randi", nil)
	tx.Set("user:2:name", "jane", nil)
	tx.Set("user:4:name", "Janet", nil)
	tx.Set("user:5:name", "Paula", nil)
	tx.Set("user:6:name", "peter", nil)
	tx.Set("user:7:name", "Terri", nil)
	return nil
})

迭代索引：

db.View(func(tx *buntdb.Tx) error {
	tx.Ascend("names", func(key, val string) bool {
		fmt.Printf(buf, "%s %s\n", key, val)
		return true
	})
	return nil
})

空间索引

BuntDB通过将矩形存储在R树中来支持空间索引。R树以类似于B树的方式组织，但可以操作多维数据。

创建空间索引：

db.CreateSpatialIndex("fleet", "fleet:*:pos", buntdb.IndexRect)

添加一些经纬度点：

db.Update(func(tx *buntdb.Tx) error {
	tx.Set("fleet:0:pos", "[-115.567 33.532]", nil)
	tx.Set("fleet:1:pos", "[-116.671 35.735]", nil)
	tx.Set("fleet:2:pos", "[-113.902 31.234]", nil)
	return nil
})

在索引上运行相交查询：

db.View(func(tx *buntdb.Tx) error {
	tx.Intersects("fleet", "[-117 30],[-112 36]", func(key, val string) bool {
		// ...
		return true
	})
	return nil
})

JSON索引

可以在JSON文档中的单个字段上创建索引。BuntDB在底层使用GJSON。

示例：

package main

import (
	"fmt"
	"github.com/tidwall/buntdb"
)

func main() {
	db, _ := buntdb.Open(":memory:")
	db.CreateIndex("last_name", "*", buntdb.IndexJSON("name.last"))
	db.CreateIndex("age", "*", buntdb.IndexJSON("age"))
	db.Update(func(tx *buntdb.Tx) error {
		tx.Set("1", `{"name":{"first":"Tom","last":"Johnson"},"age":38}`, nil)
		tx.Set("2", `{"name":{"first":"Janet","last":"Prichard"},"age":47}`, nil)
		tx.Set("3", `{"name":{"first":"Carol","last":"Anderson"},"age":52}`, nil)
		tx.Set("4", `{"name":{"first":"Alan","last":"Cooper"},"age":28}`, nil)
		return nil
	})
	db.View(func(tx *buntdb.Tx) error {
		fmt.Println("按姓氏排序")
		tx.Ascend("last_name", func(key, value string) bool {
			fmt.Printf("%s: %s\n", key, value)
			return true
		})
		fmt.Println("按年龄排序")
		tx.Ascend("age", func(key, value string) bool {
			fmt.Printf("%s: %s\n", key, value)
			return true
		})
		fmt.Println("按年龄范围30-50排序")
		tx.AscendRange("age", `{"age":30}`, `{"age":50}`, func(key, value string) bool {
			fmt.Printf("%s: %s\n", key, value)
			return true
		})
		return nil
	})
}

数据过期

可以通过在Set函数中使用SetOptions对象设置TTL来自动淘汰项目。

db.Update(func(tx *buntdb.Tx) error {
	tx.Set("mykey", "myval", &buntdb.SetOptions{Expires:true, TTL:time.Second})
	return nil
})

完整示例

package main

import (
	"fmt"
	"log"
	"time"

	"github.com/tidwall/buntdb"
)

func main() {
	// 打开数据库
	db, err := buntdb.Open(":memory:")
	if err != nil {
		log.Fatal(err)
	}
	defer db.Close()

	// 创建索引
	db.CreateIndex("last_name", "*", buntdb.IndexJSON("name.last"))
	db.CreateIndex("age", "*", buntdb.IndexJSON("age"))

	// 添加数据
	err = db.Update(func(tx *buntdb.Tx) error {
		// 设置带TTL的键值
		tx.Set("user:1", `{"name":{"first":"John","last":"Doe"},"age":30}`, &buntdb.SetOptions{Expires: true, TTL: 10 * time.Second})
		tx.Set("user:2", `{"name":{"first":"Jane","last":"Smith"},"age":25}`, nil)
		tx.Set("user:3", `{"name":{"first":"Bob","last":"Johnson"},"age":40}`, nil)
		return nil
	})
	if err != nil {
		log.Fatal(err)
	}

	// 查询数据
	err = db.View(func(tx *buntdb.Tx) error {
		// 获取单个键值
		val, err := tx.Get("user:1")
		if err != nil {
			return err
		}
		fmt.Printf("user:1 = %s\n", val)

		// 按姓氏迭代
		fmt.Println("\n按姓氏排序:")
		tx.Ascend("last_name", func(key, value string) bool {
			fmt.Printf("%s: %s\n", key, value)
			return true
		})

		// 按年龄迭代
		fmt.Println("\n按年龄排序:")
		tx.Ascend("age", func(key, value string) bool {
			fmt.Printf("%s: %s\n", key, value)
			return true
		})

		return nil
	})
	if err != nil {
		log.Fatal(err)
	}
}

这个示例展示了BuntDB的基本用法，包括打开数据库、创建索引、设置和获取数据以及迭代数据。