Nodejs 如何使用mongoose对一个100万+的mongodb的表进行遍历操作

要在Node.js中使用Mongoose遍历一个包含超过100万个文档的大集合，同时避免一次性将所有文档加载到内存中导致内存溢出的问题，可以采用分批查询的方式。这样可以在处理一批文档的同时，从数据库中获取下一批文档，从而保持较低的内存占用。以下是一个示例代码，展示了如何实现这一目标：

const mongoose = require('mongoose');
const MyModel = mongoose.model('MyModel', new mongoose.Schema({}));

// 连接到MongoDB
mongoose.connect('mongodb://localhost:27017/mydatabase', {
    useNewUrlParser: true,
    useUnifiedTopology: true
}).then(() => console.log('Connected to MongoDB'))
  .catch(err => console.error('Failed to connect to MongoDB', err));

// 定义每次处理的文档数量
const batchSize = 10;

// 递归函数用于处理一批文档后请求下一批
function processBatch(skip) {
    MyModel.find({})
        .skip(skip)
        .limit(batchSize)
        .exec((err, docs) => {
            if (err) {
                console.error('Error fetching documents:', err);
                return;
            }
            
            // 对这批文档进行处理
            for (let doc of docs) {
                doSomethingWithDoc(doc, () => {
                    // 当前文档处理完成后，递归调用处理下一批
                    if (docs.length === batchSize) {
                        processBatch(skip + batchSize);
                    }
                });
            }
        });
}

// 开始处理
processBatch(0);

// 假设的耗时处理函数
function doSomethingWithDoc(doc, callback) {
    // 这里执行你的耗时操作
    setTimeout(() => {
        console.log(`Processed document ${doc._id}`);
        callback();
    }, 1000); // 模拟耗时操作
}

在这个例子中，我们定义了一个processBatch函数，它接受一个skip参数来指定从哪个位置开始跳过文档。每次处理完一批文档（在这个例子中是10个），我们就递归地调用processBatch函数，传递下一个需要跳过的文档数量，从而继续处理下一批文档。

这种方法确保了我们不会一次性将大量文档加载到内存中，而是以小批量的方式逐步处理整个集合，有效地管理了内存使用。

一次性取100万个太大了，那能不能一次取10个呢？使用分页

function cursor(start,limit){
    //1.游标初始化
    var start;
    if(!start){
        start = start || 0;
    }
    //2.分页初始化
    var limit = limit || 10;
    //3.分页查询
    Model.skip(start).limit(limit).exec(function(err,docs){
        //遍历处理
        if(!docs || docs.length == 0){
            //处理完成
        }
        for(var i = docs.length - 1; ~i; i--,){
            //处理完的判断
            if(){
                //迭代
                cursor(start + docs.length,limit);
            }
        }
    });
}