Golang高性能列式内存存储与位图索引事务插件库column的使用

列式内存存储与位图索引

这个包包含一个高性能、列式、内存存储引擎，支持快速查询、更新和迭代，具有零分配和位图索引功能。

主要特性

• 优化的、缓存友好的列式数据布局，最小化缓存未命中
• 优化查询时的零堆内存分配
• 优化的批量更新/删除，事务中的更新大约需要12ns
• 支持SIMD加速的聚合函数如"sum"、“avg”、“min"和"max”
• 支持SIMD加速的过滤(即"where"子句)
• 支持列式投影(即"select"子句)实现快速检索
• 支持计算索引，基于提供的谓词动态计算
• 支持并发更新
• 支持事务隔离
• 支持基于TTL或过期列的数据过期
• 支持原子合并任何值
• 支持主键
• 支持变更数据流
• 支持并发快照

完整示例

创建集合和列

// 创建新集合和一些列
players := column.NewCollection()
players.CreateColumn("name", column.ForString())
players.CreateColumn("class", column.ForString())
players.CreateColumn("balance", column.ForFloat64())
players.CreateColumn("age", column.ForInt16())

// 插入单条记录
index, err := players.Insert(func(r column.Row) error {
    r.SetString("name", "merlin")
    r.SetString("class", "mage")
    r.SetFloat64("balance", 99.95)
    r.SetInt16("age", 107)
    return nil
})

// 批量插入记录
players.Query(func(txn *column.Txn) error {
    for _, v := range myRawData {
        txn.Insert(func(r column.Row) error {
            // 设置各列值
            return nil
        })
    }
    return nil // 提交
})

查询和索引

// 创建"rogue"索引
players.CreateIndex("rogue", "class", func(v interface{}) bool {
    return v == "rogue"
})

// 查询所有rogue
players.Query(func(txn *column.Txn) error {
    count := txn.With("rogue").Count()
    return nil
})

// 查询rogue和mage
players.Query(func(txn *column.Txn) error {
    txn.With("rogue").Union("mage").Count()
    return nil
})

// 查询非rogue
players.Query(func(txn *column.Txn) error {
    txn.Without("rogue").Count()
    return nil
})

// 查询年龄大于30的rogue
players.Query(func(txn *column.Txn) error {
    txn.With("rogue").WithFloat("age", func(v float64) bool {
        return v >= 30
    }).Count()
    return nil
})

迭代结果

// 迭代所有rogue并打印名字
players.Query(func(txn *column.Txn) error {
    names := txn.String("name") // 创建列读取器
    
    return txn.With("rogue").Range(func(i uint32) {
        name, _ := names.Get()
        println("rogue name", name)
    })
})

// 迭代并获取多个列
players.Query(func(txn *column.Txn) error {
    names := txn.String("name")
    ages := txn.Int64("age")

    return txn.With("rogue").Range(func(i uint32) {
        name, _ := names.Get()
        age, _ := ages.Get()
        println("rogue name", name)
        println("rogue age", age)
    })
})

更新值

// 更新所有rogue的balance和age
players.Query(func(txn *column.Txn) error {
    balance := txn.Float64("balance")
    age := txn.Int64("age")

    return txn.With("rogue").Range(func(i uint32) {
        balance.Set(10.0) // 设置"balance"为10.0
        age.Set(50)       // 设置"age"为50
    })
})

// 原子增加rogue的balance
players.Query(func(txn *column.Txn) error {
    balance := txn.Float64("balance")

    return txn.With("rogue").Range(func(i uint32) {
        balance.Merge(500.0) // "balance"增加500
    })
})

使用主键

players := column.NewCollection()
players.CreateColumn("name", column.ForKey())     // 创建"name"作为主键
players.CreateColumn("class", column.ForString()) // 其他列

// 插入主键为"merlin"的玩家
players.InsertKey("merlin", func(r column.Row) error {
    r.SetString("class", "mage")
    return nil
})

// 查询主键为"merlin"的玩家
players.QueryKey("merlin", func(r column.Row) error {
    class, _ := r.String("class")
    return nil
})

存储二进制记录

type Location struct {
    X float64 `json:"x"`
    Y float64 `json:"y"`
}

func (l Location) MarshalBinary() ([]byte, error) {
    return json.Marshal(l)
}

func (l *Location) UnmarshalBinary(b []byte) error {
    return json.Unmarshal(b, l)
}

// 创建位置列
players.CreateColumn("location", ForRecord(func() *Location {
    return new(Location)
}))

// 插入位置记录
idx, _ := players.Insert(func(r Row) error {
    r.SetRecord("location", &Location{X: 1, Y: 2})
    return nil
})

// 读取位置记录
players.QueryAt(idx, func(r Row) error {
    location, ok := r.Record("location")
    return nil
})

性能基准

在包含12列的100,000项集合上运行的基准测试：

cpu: Intel(R) Core(TM) i7-9700K CPU @ 3.60GHz
BenchmarkCollection/insert-8            2523     469481 ns/op    24356 B/op    500 allocs/op
BenchmarkCollection/select-at-8     22194190      54.23 ns/op        0 B/op      0 allocs/op
BenchmarkCollection/scan-8              2068     568953 ns/op      122 B/op      0 allocs/op
BenchmarkCollection/count-8           571449       2057 ns/op        0 B/op      0 allocs/op
BenchmarkCollection/range-8            28660      41695 ns/op        3 B/op      0 allocs/op
BenchmarkCollection/update-at-8      5911978      202.8 ns/op        0 B/op      0 allocs/op
BenchmarkCollection/update-all-8        1280     946272 ns/op     3726 B/op      0 allocs/op
BenchmarkCollection/delete-at-8      6405852      188.9 ns/op        0 B/op      0 allocs/op
BenchmarkCollection/delete-all-8     2073188      562.6 ns/op        0 B/op      0 allocs/op

许可证

Tile基于MIT许可证授权。