Nodejs并发限制插件p-limit的使用

Nodejs并发限制插件p-limit的使用
p-limit 是一个非常有用的 Node.js 库，用于控制并发操作的数量。它可以帮助你管理同时执行的任务数量，这对于处理大量异步操作（如数据库查询、文件读写等）特别有用。

下面是如何安装和使用 p-limit 的示例：

安装

首先，你需要通过 npm 安装 p-limit：

npm install p-limit

使用

以下是一个简单的例子，展示了如何使用 p-limit 来限制并发任务的数量。

示例：下载多个 URL 内容

假设我们有一个包含多个 URL 的数组，并且我们想要同时下载这些内容，但一次只允许 5 个请求并发进行。

const fetch = require('node-fetch'); // 用于 HTTP 请求
const pLimit = require('p-limit'); // p-limit 插件

// 创建一个 p-limit 实例，设置最大并发数为 5
const limit = pLimit(5);

// 要下载的 URL 数组
const urls = [
    'https://jsonplaceholder.typicode.com/posts/1',
    'https://jsonplaceholder.typicode.com/posts/2',
    'https://jsonplaceholder.typicode.com/posts/3',
    'https://jsonplaceholder.typicode.com/posts/4',
    'https://jsonplaceholder.typicode.com/posts/5',
    // 更多 URL...
];

// 定义一个函数来下载单个 URL 的内容
async function download(url) {
    const response = await limit(() => fetch(url));
    if (!response.ok) throw new Error(`HTTP error! status: ${response.status}`);
    return response.text();
}

// 并发地下载所有 URL
(async () => {
    try {
        const results = await Promise.all(urls.map(download));
        console.log(results);
    } catch (error) {
        console.error(error);
    }
})();

在这个例子中，我们创建了一个 p-limit 实例，设置了最大并发数为 5。然后，我们定义了一个 download 函数，该函数接受一个 URL 并使用 limit 来确保在任何给定时间最多只有 5 个请求在运行。

最后，我们使用 Promise.all 和 map 方法并发地调用 download 函数来处理所有的 URL。

注意事项

  • p-limit 的实例可以被重用，因此如果你有多个任务需要限制并发数，可以创建一个共享的 p-limit 实例。
  • 如果你的任务需要传递参数，你可以将这些参数作为函数的一部分传递到 limit 中。

通过这种方式，你可以有效地控制和优化你的异步操作，避免因过多的并发请求导致的资源耗尽或性能下降。


3 回复

当然！p-limit 是一个非常实用的 Node.js 插件，用来限制并发执行的任务数量。想象一下，你有一群饿狼（任务），但只有有限的食物（资源）。p-limit 就像是一位严格的厨师，确保每次只喂几只狼，避免场面失控。

首先，你需要安装它：

npm install p-limit

然后你可以这样用：

const pLimit = require('p-limit');

// 设置最大并发数为5
const limit = pLimit(5);

async function doWork(item) {
    console.log(`Working on ${item}`);
    // 模拟工作
    await new Promise(resolve => setTimeout(resolve, 1000));
    console.log(`Completed ${item}`);
}

const items = ['item1', 'item2', 'item3', 'item4', 'item5', 'item6', 'item7', 'item8', 'item9', 'item10'];

items.forEach(async item => {
    // 使用限流器包装你的异步函数
    const task = limit(() => doWork(item));
    task();
});

这样，无论你有多少任务，每次最多只会启动5个任务同时运行。


p-limit 是一个用于控制 Promise 并发数量的 Node.js 库。它可以帮助你在处理大量异步操作时，避免一次性启动过多的并发任务导致系统资源耗尽。下面是如何使用 p-limit 的基本示例。

首先，你需要安装 p-limit：

npm install p-limit

接下来是几个简单的使用示例：

示例1：基本用法

假设我们有一个需要并发限制的任务队列，比如下载多个文件或处理多个请求。

const pLimit = require('p-limit');

// 定义你的异步函数
async function downloadFile(url) {
    console.log(`Downloading ${url}...`);
    await new Promise(resolve => setTimeout(resolve, 1000)); // 模拟下载时间
    console.log(`${url} downloaded.`);
}

const limit = pLimit(3); // 设置最大并发数为3

const urls = [
    'http://example.com/file1',
    'http://example.com/file2',
    'http://example.com/file3',
    'http://example.com/file4',
    'http://example.com/file5'
];

urls.forEach(async (url) => {
    const download = () => downloadFile(url);
    const limitedDownload = limit(download);
    limitedDownload();
});

在这个例子中，我们将最大并发数设置为3。这意味着任何时候都不会有超过3个 downloadFile 函数同时运行。

示例2：结合 Promise.all 使用

如果你有一系列异步操作，并希望控制它们的并发执行，可以将这些操作放入一个数组，然后使用 Promise.all 和 p-limit 结合使用。

const promises = urls.map((url) => {
    return limit(() => downloadFile(url));
});

await Promise.all(promises);
console.log("All downloads completed.");

总结

p-limit 提供了一个简单而强大的方式来控制异步任务的并发执行，这在处理大量异步操作时非常有用。通过设置合理的并发数，你可以更有效地管理系统资源，提高程序的稳定性和性能。

p-limit 是一个用于控制 Promise 并发执行数量的 Node.js 插件。使用时，首先需要安装它：

npm install p-limit

然后可以这样使用：

const pLimit = require('p-limit');

const limit = pLimit(3); // 定义同时最多并发3个任务

const fn = (id) => {
    return new Promise((resolve) => {
        setTimeout(() => {
            console.log(id);
            resolve();
        }, 1000);
    });
};

const run = async () => {
    for (let i = 0; i < 10; i++) {
        const promise = limit(() => fn(i));
        await promise;
    }
};

run();

上述代码会确保任何时候都只有至多三个 fn 函数并发执行。

回到顶部