Nodejs下cpu密集型服务，如何实现多线程

Nodejs下cpu密集型服务，如何实现多线程

我知道node.js中对IO操作都是非阻塞的方式进行的。但有的是后服务需要处理一些逻辑，比如使用Buffer数据数据，这个时候怎么实现非阻塞呢，我们之后node是单线程的，或者怎么实现多线程呢。谢谢大牛们指导。

12 回复

Node.js 下 CPU 密集型服务，如何实现多线程

我们知道 Node.js 主要用于处理 I/O 密集型任务，因为它采用的是单线程事件循环模型（Event Loop）。然而，在某些情况下，你可能需要处理一些 CPU 密集型的任务，例如图像处理、加密运算或复杂的数学计算。在这种情况下，使用 Node.js 的单线程模型可能会导致性能瓶颈。

解决方案

为了实现多线程处理，可以考虑以下几种方法：

  1. Worker Threads：Node.js 提供了 worker_threads 模块，允许你在同一个进程中创建多个线程来执行任务。
  2. Child Processes：通过 child_process 模块创建子进程，让子进程来执行 CPU 密集型任务。
  3. Cluster 模块：使用 cluster 模块创建多个进程，每个进程独立运行，可以利用多核 CPU 的优势。

示例代码

使用 Worker Threads
const { Worker, isMainThread, parentPort } = require('worker_threads');

if (isMainThread) {
    // 主线程
    const worker = new Worker(__filename);
    worker.on('message', message => {
        console.log(`Received message from worker: ${message}`);
    });
} else {
    // 工作线程
    parentPort.postMessage('Hello from worker thread!');
}
使用 Child Processes
const { fork } = require('child_process');

// 主进程
const child = fork('./childProcess.js');
child.send('Start processing...');

child.on('message', message => {
    console.log(`Received message from child process: ${message}`);
});

// childProcess.js
process.on('message', message => {
    console.log(`Received message from parent: ${message}`);
    process.send('Processing done!');
});

解释

  • Worker Threads: 这个模块允许你在同一个 Node.js 进程中创建多个线程。主线程和工作线程之间可以通过 parentPort.postMessage 和 worker.on('message') 进行通信。

  • Child Processes: 通过 fork 方法启动一个新的子进程，主进程和子进程之间可以通过 process.send 和 process.on('message') 进行消息传递。

这两种方法都可以有效地将 CPU 密集型任务从主线程中分离出来，从而提高整体应用的性能。选择哪种方法取决于具体的应用场景和需求。


拆分成 流控制进程 和 计算进程 ？

cluster撒。

可以用C++写，nodejs异步分配任务。尽量不要用nodejs进行CPU密集操作

可以使用 node-threads-a-gogo 在node中使用线程

我不知到我的操作算不算cpu密集型的，我的操作只是使用Buffer构造一些数据下发给客户端， 这样算cpu密集吗？

用CLuster或者用Nigix做负载均衡器

个人比较倾向nigix+cluster的方式，比较简单

可以调用或请求用其他适合多线程操作的语言实现的服务

我最近也在思考这个问题，比如我想使用nodejs来访问数据库，然后将查询出来的数据发往浏览器。但是我们知道nodejs查询数据库是异步的，她并不会立即返回，所以这样就造成了阻塞。我本来想写一个线程池来处理这个问题，但是苦于不知道如何用代码实现，求大神指导。谢啦

你好，既然nodejs查询数据库是异步的，查完后就调用回调函数，为何会造成了阻塞？

在Node.js中，默认情况下它是单线程的，对于CPU密集型任务，这可能会成为一个瓶颈。为了实现多线程处理，可以采用以下几种方法：

  1. Worker Threads： Node.js从版本10.5.0开始支持worker_threads模块，允许你在单个进程中创建多个线程来并行执行CPU密集型任务。

示例代码

const { Worker, isMainThread, parentPort } = require('worker_threads');

if (isMainThread) {
  // 主线程
  const worker = new Worker(__filename);
  worker.on('message', message => {
    console.log(`主线程收到消息: ${message}`);
  });
  worker.postMessage('hello from main thread');
} else {
  // 子线程
  parentPort.on('message', message => {
    console.log(`子线程收到消息: ${message}`);
    parentPort.postMessage('hello from worker thread');
  });
}

解释

  • isMainThread 变量用于判断当前是否为主线程。
  • new Worker(__filename) 创建了一个新的工作线程。
  • parentPort 是主线程和子线程之间通信的管道。
  1. Cluster 模块： 如果你的应用需要更多的并行处理能力，可以考虑使用cluster模块创建多个进程（每个进程有自己的V8实例和Node.js运行环境）来分担负载。

示例代码

const cluster = require('cluster');
const http = require('http');
const numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
  // 主进程
  console.log(`主进程 PID: ${process.pid}`);
  
  for (let i = 0; i < numCPUs; i++) {
    cluster.fork();
  }

  cluster.on('exit', (worker, code, signal) => {
    console.log(`工作进程 ${worker.process.pid} 已退出`);
  });

} else {
  // 工作进程
  http.createServer((req, res) => {
    res.writeHead(200);
    res.end('Hello World\n');
  }).listen(8000);

  console.log(`工作进程 PID: ${process.pid}`);
}

解释

  • cluster.fork() 用于创建一个新的工作进程。
  • cluster.isMaster 用于判断当前是否为主进程。
  • numCPUs 获取系统中的CPU核心数。

这两种方法都可以有效地提高Node.js应用程序处理CPU密集型任务的能力。选择哪种方式取决于具体的应用场景和需求。

回到顶部