minquery - 高效的MongoDB分页查询库

minquery是一个专为Golang设计的MongoDB分页查询库，它通过利用MongoDB的索引和游标特性，实现了高效的分页查询功能，特别适合处理大数据集的分页需求。

主要特性

1. 基于游标的分页，避免传统skip/limit的性能问题
2. 支持排序字段上的高效查询
3. 自动处理分页边界条件
4. 轻量级且易于集成

安装

go get github.com/icza/minquery

基本用法

初始化

import (
    "context"
    "fmt"
    "log"
    
    "github.com/icza/minquery"
    "go.mongodb.org/mongo-driver/bson"
    "go.mongodb.org/mongo-driver/mongo"
    "go.mongodb.org/mongo-driver/mongo/options"
)

// 初始化MongoDB客户端
client, err := mongo.Connect(context.TODO(), options.Client().ApplyURI("mongodb://localhost:27017"))
if err != nil {
    log.Fatal(err)
}

// 获取集合
collection := client.Database("testdb").Collection("users")

简单分页查询

// 定义查询结构
type User struct {
    ID    string `bson:"_id"`
    Name  string `bson:"name"`
    Email string `bson:"email"`
    Age   int    `bson:"age"`
}

// 创建分页查询
q := minquery.New(collection, bson.M{"age": bson.M{"$gt": 18}}).
    Sort("name", -1). // 按name降序排列
    Limit(10)         // 每页10条记录

// 执行查询
var users []User
nextPageToken, err := q.Run(context.TODO(), &users)
if err != nil {
    log.Fatal(err)
}

fmt.Printf("Found %d users\n", len(users))
fmt.Printf("Next page token: %s\n", nextPageToken)

获取下一页

// 使用上一页返回的token获取下一页
if nextPageToken != "" {
    q = minquery.New(collection, bson.M{"age": bson.M{"$gt": 18}}).
        Sort("name", -1).
        Limit(10).
        After(nextPageToken) // 设置分页token
    
    var nextUsers []User
    nextPageToken, err = q.Run(context.TODO(), &nextUsers)
    if err != nil {
        log.Fatal(err)
    }
    
    fmt.Printf("Next page has %d users\n", len(nextUsers))
}

复杂查询示例

// 更复杂的查询条件
q = minquery.New(collection, bson.M{
    "age":    bson.M{"$gte": 21, "$lte": 65},
    "status": "active",
}).
    Sort("age", 1).  // 按age升序
    Sort("name", 1). // 然后按name升序
    Limit(20)        // 每页20条

var activeUsers []User
token, err := q.Run(context.TODO(), &activeUsers)
if err != nil {
    log.Fatal(err)
}

fmt.Printf("Found %d active users\n", len(activeUsers))

性能优势

minquery相比传统的skip/limit分页有以下优势：

1. 避免skip的性能问题：传统分页在大数据集时skip会扫描所有跳过的文档
2. 稳定的分页：即使数据在分页过程中发生变化，也能保持分页稳定性
3. 更低的资源消耗：利用索引和游标，减少服务器负载

注意事项

1. 必须指定排序字段
2. 排序字段应该是唯一的或组合起来唯一，以避免分页边界问题
3. 分页token是基于排序字段的值生成的，不应手动修改

完整示例

package main

import (
    "context"
    "fmt"
    "log"
    
    "github.com/icza/minquery"
    "go.mongodb.org/mongo-driver/bson"
    "go.mongodb.org/mongo-driver/mongo"
    "go.mongodb.org/mongo-driver/mongo/options"
)

type Product struct {
    ID    string  `bson:"_id"`
    Name  string  `bson:"name"`
    Price float64 `bson:"price"`
    Stock int     `bson:"stock"`
}

func main() {
    // 连接MongoDB
    client, err := mongo.Connect(context.TODO(), options.Client().ApplyURI("mongodb://localhost:27017"))
    if err != nil {
        log.Fatal(err)
    }
    defer client.Disconnect(context.TODO())
    
    collection := client.Database("shop").Collection("products")
    
    // 创建索引确保查询效率
    _, err = collection.Indexes().CreateOne(context.TODO(), mongo.IndexModel{
        Keys: bson.D{{"price", 1}, {"name", 1}},
    })
    if err != nil {
        log.Fatal(err)
    }
    
    // 分页查询产品
    var pageToken string
    for i := 1; i <= 5; i++ { // 获取5页数据
        q := minquery.New(collection, bson.M{"stock": bson.M{"$gt": 0}}).
            Sort("price", 1).
            Sort("name", 1).
            Limit(10)
            
        if pageToken != "" {
            q = q.After(pageToken)
        }
        
        var products []Product
        var err error
        pageToken, err = q.Run(context.TODO(), &products)
        if err != nil {
            log.Fatal(err)
        }
        
        fmt.Printf("Page %d:\n", i)
        for _, p := range products {
            fmt.Printf("- %s ($%.2f, stock: %d)\n", p.Name, p.Price, p.Stock)
        }
        
        if pageToken == "" {
            fmt.Println("No more pages")
            break
        }
    }
}

minquery是一个简单但强大的库，特别适合需要高效处理大数据集分页的MongoDB应用场景。通过利用MongoDB的索引和游标特性，它能够提供比传统skip/limit方法更好的性能表现。