Nodejs mongo如何去除重复数据呢？这个问题很难吗？

Nodejs mongo如何去除重复数据呢？这个问题很难吗？

如题mongodb如何删除重复数据？ {unique : true, dropDups : true} 建立索引去重复值！！好像行不通啊。有重复值直接报错。我擦 又或者是我用错了？ 仔细想了想，妹的，场景不付。 业务场景是需要批量插入数据。 1.用的是foreach，如果插入一条，去数据库查询一条，效率会很慢。 2.而且还有一个问题是，查到有相同的数据后，该用什么方法去跳过这一条，继续执行下一条呢？ 所以我想采用先批量插入数据后，再对mongo数据库进去去重。 但是在网上搜了一大圈没有发现mongo有针对去重这一块的方法。郁闷了。 而且使用索引去重，又面临第2点！ 大神们有什么方法可以做到呢？请指导指导！


6 回复

在MongoDB中处理重复数据确实是一个常见的需求，尤其是在批量插入数据之后。对于你的问题，我们可以采取以下几种方法来解决。

方法一：使用聚合框架进行去重

MongoDB的聚合框架提供了一种强大的方式来处理和分析数据。我们可以使用$group操作符来识别重复项，并将其删除。

示例代码

const mongoose = require('mongoose');

// 连接到MongoDB
mongoose.connect('mongodb://localhost:27017/yourdb', { useNewUrlParser: true, useUnifiedTopology: true });

const YourModel = mongoose.model('YourModel', new mongoose.Schema({
    // 定义模型字段
}));

async function removeDuplicates() {
    try {
        const pipeline = [
            {
                $group: {
                    _id: "$uniqueField", // 假设"uniqueField"是你想要去重的字段
                    duplicates: { $push: "$$ROOT" },
                    count: { $sum: 1 }
                }
            },
            {
                $match: {
                    count: { $gt: 1 }
                }
            },
            {
                $unwind: "$duplicates"
            },
            {
                $group: {
                    _id: "$_id",
                    firstDoc: { $first: "$duplicates" },
                    restDocs: { $push: "$duplicates" }
                }
            },
            {
                $project: {
                    _id: 0,
                    toBeRemoved: "$restDocs"
                }
            }
        ];

        const cursor = await YourModel.aggregate(pipeline);

        for (const doc of cursor) {
            await YourModel.deleteMany({ _id: { $in: doc.toBeRemoved.map(d => d._id) } });
        }

        console.log("Duplicate documents removed successfully.");
    } catch (error) {
        console.error("Error removing duplicate documents:", error);
    }
}

removeDuplicates();

解释

  1. 聚合管道：

    • $group: 按照uniqueField分组，并计算每个分组中的文档数量。
    • $match: 只保留那些出现次数大于1的文档。
    • $unwind: 将数组展开。
    • $group: 再次按_id分组，只保留第一个文档作为基准，并将其他文档放入restDocs数组中。
    • $project: 提取需要删除的文档列表。

  2. 删除重复文档:

    • 使用deleteMany方法删除所有重复的文档。

这种方法虽然可能不是最高效的，但在大多数情况下是可行的。如果你有大量的数据，你可能需要考虑更高效的解决方案，例如使用MapReduce或编写自定义脚本。


如果重复项目，index以外的内容全一样，那就直接建index unique:1，drop duplicate:1，建好了就是没有重复的了，good luck~

但是新增的数据也可能会有重复的出现

  1. 如果已经有了的话，设置index为unique能去除；
  2. 更新的时候update加选项upsert : 1；作用是update的时候不存在的话创建，存在的话更新在存在的项目上；

如果是save方法呢？

要去除MongoDB中的重复数据，可以采用多种方法。一种常见的方法是在插入数据之前先检查是否有重复项，但这会影响性能。另一种方法是在插入所有数据之后，通过查询和聚合操作来删除重复项。

以下是一个示例，展示了如何在Node.js中使用MongoDB驱动程序来查找并删除重复的数据：

const MongoClient = require('mongodb').MongoClient;
const url = "mongodb://localhost:27017/";

async function removeDuplicates() {
    const client = new MongoClient(url, { useNewUrlParser: true, useUnifiedTopology: true });

    try {
        await client.connect();
        console.log("Connected correctly to server");
        
        const db = client.db("yourDatabaseName");
        const collection = db.collection("yourCollectionName");

        // 查询重复数据
        const duplicates = await collection.aggregate([
            {
                $group: {
                    _id: "$yourUniqueField",
                    docId: { $first: "$_id" },
                    count: { $sum: 1 }
                }
            },
            {
                $match: {
                    count: { $gt: 1 }
                }
            }
        ]).toArray();

        // 删除重复数据（保留第一个）
        for (const duplicate of duplicates) {
            if (duplicate.count > 1) {
                await collection.deleteMany({
                    _id: { $ne: duplicate.docId },
                    yourUniqueField: duplicate._id
                });
            }
        }

        console.log("Duplicates removed successfully");
    } catch (err) {
        console.error(err.stack);
    } finally {
        await client.close();
    }
}

removeDuplicates().catch(console.error);

解释：

  1. 连接MongoDB：使用MongoClient连接到MongoDB。
  2. 查询重复数据：使用聚合管道查询出所有重复的数据。
  3. 删除重复数据：遍历找到的重复数据，并删除除了第一次出现之外的所有重复记录。

这种方法适用于大多数情况，但需要注意的是，删除操作可能会影响性能，特别是在处理大量数据时。建议在非高峰时段运行此类操作。

回到顶部