NodeJs的Redis客户端遇到failed - connect EMFILE错误

NodeJs的Redis客户端遇到failed - connect EMFILE错误

现象描述

程序逻辑非常简单：接收到HTTP请求后，使用一个参数作为Key去执行Redis的BLPOP操作。如果超时，则关闭Redis客户端并返回空字典的JSON；如果在超时前获取到数据，则返回该数据，并最终关闭Redis连接。

然而，在Redis客户端连接数达到约2000多个时，NodeJS应用开始出现连接错误，具体错误信息如下：

error: Error: Redis connection to xxx.xxx.xxx.xxx - connect EMFILE

错误详细信息如下：

events.js:72
throw er; // Unhandled 'error' event
^
Error: Redis connection to xxx.xxx.xxx.xxx:6379 failed - connect EMFILE
at RedisClient.on_error (/var/www/ncodoon/message/broker/node_modules/redis/index.js:185:24)
at Socket.<anonymous> (/var/www/ncodoon/message/broker/node_modules/redis/index.js:95:14)
at Socket.EventEmitter.emit (events.js:95:17)
at net.js:440:14
at process._tickCallback (node.js:415:13)

解决方案

尽管Redis服务器和NodeJS服务器的ulimit -n设置为102400，远未达到上限，但问题依然存在。这通常是由于NodeJS应用打开了过多的文件描述符（包括TCP连接），导致操作系统无法分配新的文件描述符。

示例代码及修改建议

1. 检查和限制并发连接数

   你可以通过限制同时进行的Redis连接数来解决这个问题。例如，你可以使用一个队列来管理连接，确保不会超过一定数量的连接。

   const redis = require('redis');
   const Queue = require('async-lock').Lock;
   
   const lock = new Queue();
   const MAX_CONCURRENT_CONNECTIONS = 100; // 最大并发连接数
   
   function getRedisClient() {
     return new Promise((resolve, reject) => {
       lock.acquire('redis', async () => {
         try {
           const client = redis.createClient({
             host: 'xxx.xxx.xxx.xxx',
             port: 6379,
           });
   
           await new Promise(resolve => client.on('ready', resolve));
           resolve(client);
         } catch (err) {
           reject(err);
         }
       });
     });
   }
   
   app.get('/your-endpoint', async (req, res) => {
     try {
       const client = await getRedisClient();
       const data = await client.blpop('your-key', 10); // 设置超时时间为10秒
       res.json(data);
     } catch (err) {
       res.status(500).json({ error: err.message });
     } finally {
       client.quit();
     }
   });
   

2. 使用连接池

   另一种方法是使用连接池来管理Redis连接，这样可以更好地控制连接的数量。

   const redis = require('redis');
   const pool = require('generic-pool');
   
   const poolConfig = {
     max: 100, // 最大连接数
     min: 10, // 最小连接数
     idleTimeoutMillis: 30000, // 连接空闲超时时间
   };
   
   const factory = {
     create: () => {
       return redis.createClient({
         host: 'xxx.xxx.xxx.xxx',
         port: 6379,
       });
     },
     destroy: client => {
       client.quit();
     },
     validate: client => {
       return client.connected;
     },
   };
   
   const clientPool = pool.Pool(poolConfig, factory);
   
   app.get('/your-endpoint', async (req, res) => {
     try {
       const client = await clientPool.acquire();
       const data = await client.blpop('your-key', 10);
       res.json(data);
     } catch (err) {
       res.status(500).json({ error: err.message });
     } finally {
       clientPool.release(client);
     }
   });
   

通过以上方法，你可以有效地管理Redis连接，避免因连接过多而导致的EMFILE错误。