Nodejs 用request发送了大量的post请求，导致node进程感觉很不稳定？

Node.js 使用 request 发送大量 POST 请求时进程不稳定的问题

背景

在 Express 框架中，使用 request 库发送大量的 POST 请求时，可能会遇到进程不稳定甚至挂掉的情况。这可能是由于多种原因造成的，包括但不限于请求过多、内存泄漏、未正确处理错误等。

问题分析

1. 使用 http.request 和 request 的区别

   • http.request 是 Node.js 原生的 HTTP 客户端 API，它提供了更底层的控制能力，但需要手动管理请求的生命周期。
   • request 是一个第三方库，简化了 HTTP 请求的编写过程，提供了更加简洁的 API。但是，request 已经不再维护，推荐使用 axios 或 node-fetch 等替代库。

2. 进程挂掉的原因

   • 没有添加头部：虽然你提到不添加头部也能正常工作，但在某些情况下（如服务器需要特定的头部信息），不添加头部可能会导致问题。
   • 没有调用 req.end()：在使用原生 http.request 时，必须调用 req.end() 来结束请求。不过，对于 request 库来说，这一步已经由库内部处理了。
   • 请求过多导致资源耗尽：频繁地发起大量请求可能会导致内存不足或文件描述符耗尽，从而导致进程挂掉。

3. 进程挂掉与缓存/日志的关系

   • 过多的缓存或日志确实可能导致进程不稳定。确保日志文件不会无限增长，并合理配置缓存策略。

解决方案

1. 使用 axios 替代 request

   const axios = require('axios');
   
   async function sendPostRequest(url, params) {
       try {
           const response = await axios.post(url, params, {
               headers: {
                   'Content-Type': 'application/json'
               }
           });
           return response.data;
       } catch (error) {
           console.error(error);
           throw error;
       }
   }
   
   // 使用示例
   sendPostRequest('http://XX.XX.XX.XX:8765', { key: 'value' })
       .then(data => console.log(data))
       .catch(err => console.error(err));
   

2. 限制并发请求数量

   使用 async 库来限制并发请求的数量：

   const async = require('async');
   
   const urls = Array(100).fill('http://XX.XX.XX.XX:8765');
   const params = Array(100).fill({ key: 'value' });
   
   async.eachLimit(urls, 10, (url, callback) => {
       sendPostRequest(url, params[urls.indexOf(url)])
           .then(data => {
               console.log(data);
               callback();
           })
           .catch(err => {
               console.error(err);
               callback(err);
           });
   }, err => {
       if (err) {
           console.error('An error occurred:', err);
       } else {
           console.log('All requests completed successfully');
       }
   });
   

通过这些方法，你可以更好地管理和控制你的请求，避免进程因请求过多而挂掉。