Golang轻量级嵌入式向量数据库插件chromem-go的使用

chromem-go是一个用于Go语言的嵌入式向量数据库，具有类似Chroma的接口且无第三方依赖。它支持内存存储和可选持久化。

主要特点

• 零第三方库依赖
• 嵌入式设计（类似SQLite，无需客户端-服务器模型）
• 多线程处理（利用Go原生并发特性）
• 实验性WebAssembly绑定
• 支持多种嵌入模型提供商（OpenAI、Azure OpenAI、GCP Vertex AI等）
• 支持本地模型（Ollama、LocalAI）
• 支持自定义嵌入函数
• 基于余弦相似度的精确最近邻搜索
• 文档过滤和元数据过滤功能
• 内存存储和可选持久化

安装

go get github.com/philippgille/chromem-go@latest

快速入门示例

package main

import (
    "context"
    "fmt"
    "runtime"

    "github.com/philippgille/chromem-go"
)

func main() {
    ctx := context.Background()

    // 创建内存数据库
    db := chromem.NewDB()

    // 创建集合。传递nil作为嵌入函数将使用OpenAI，需要设置"OPENAI_API_KEY"环境变量
    // 也可以传递chromem.NewEmbeddingFuncOllama(...)来使用Ollama
    c, err := db.CreateCollection("knowledge-base", nil, nil)
    if err != nil {
        panic(err)
    }

    // 添加文档到集合
    err = c.AddDocuments(ctx, []chromem.Document{
        {
            ID:      "1",
            Content: "The sky is blue because of Rayleigh scattering.",
        },
        {
            ID:      "2",
            Content: "Leaves are green because chlorophyll absorbs red and blue light.",
        },
    }, runtime.NumCPU()) // 使用CPU核心数作为并发数
    if err != nil {
        panic(err)
    }

    // 查询最相似的文档
    res, err := c.Query(ctx, "Why is the sky blue?", 1, nil, nil)
    if err != nil {
        panic(err)
    }

    fmt.Printf("ID: %v\nSimilarity: %v\nContent: %v\n", res[0].ID, res[0].Similarity, res[0].Content)
}

输出示例：

ID: 1
Similarity: 0.6833369
Content: The sky is blue because of Rayleigh scattering.

Chroma风格的API示例

package main

import (
    "context"
    "github.com/philippgille/chromem-go"
)

func main() {
    ctx := context.Background()
    
    // 设置内存数据库
    db := chromem.NewDB()

    // 创建集合
    collection, _ := db.CreateCollection("all-my-documents", nil, nil)

    // 添加文档（Chroma风格API）
    _ = collection.Add(ctx,
        []string{"doc1", "doc2"}, // 每个文档的唯一ID
        nil, // 自动处理嵌入，也可以提供自己的嵌入
        []map[string]string{{"source": "notion"}, {"source": "google-docs"}}, // 元数据
        []string{"This is document1", "This is document2"},
    )

    // 查询最相似的2个结果
    results, _ := collection.Query(ctx,
        "This is a query document",
        2,
        map[string]string{"metadata_field": "is_equal_to_this"}, // 可选过滤器
        map[string]string{"$contains": "search_string"},         // 可选过滤器
    )
}

性能基准

在2021款Framework Laptop 13（Intel i5-1135G7, 32GB内存）上测试：

• 查询1,000个文档：约0.52ms
• 查询100,000个文档：约39.5ms

使用场景

1. 检索增强生成(RAG)：为LLM提供最新、精确的知识
2. 文本和代码搜索：基于语义相似度的搜索
3. 推荐系统：基于内容相似度的推荐
4. 分类：基于向量相似度的分类
5. 聚类：文档聚类分析

开发状态

⚠️ 项目处于beta阶段，v1.0.0之前可能会有破坏性变更。所有变更都会记录在CHANGELOG中。

相关项目

• Chroma：Python嵌入式向量数据库
• Pinecone、Qdrant、Milvus、Weaviate：大型客户端-服务器向量数据库
• pgvector：PostgreSQL的向量搜索扩展
• sqlite-vss：SQLite的向量搜索扩展