Nodejs socket.io 当大量客户端同时继开时会存在没有回收客户端信息的问题

Node.js Socket.io 当大量客户端同时继开时会存在没有回收客户端信息的问题

在使用 Socket.io 进行实时通信时，特别是在高并发场景下，可能会遇到客户端断开连接后未能及时释放资源的情况。这会导致内存泄漏，进而导致 CPU 和内存使用率持续上升。

问题描述

假设我们有一个消息推送系统，架构如下：

• service 发送消息到 Redis
• Redis 将消息广播到 Socket.io
• Socket.io 将消息推送给客户端

当大量客户端同时断开连接时，Socket.io 可能无法及时回收这些断开的客户端信息，导致内存泄漏。这种情况下，如果继续向 Socket.io 推送消息，会导致 CPU 和内存使用率上升，最终可能导致系统崩溃（OM）。

解决方案

1. 监听客户端断开事件：通过监听客户端的 disconnect 事件，可以在客户端断开连接时清理相关资源。
2. 定时清理无效连接：可以定期检查并清理无效的客户端连接。
3. 监控 CPU 负载：通过监控 CPU 负载，可以在负载较高时减少或暂停消息处理。

示例代码

const io = require('socket.io')(server, {
  transports: ['polling', 'websocket'],
});

// 监听客户端断开事件
io.on('connection', (socket) => {
  console.log('Client connected:', socket.id);

  socket.on('disconnect', () => {
    console.log('Client disconnected:', socket.id);
    // 清理与该客户端相关的资源
    // 例如：删除存储的用户信息、清理队列等
  });
});

// 定时清理无效连接
setInterval(() => {
  const sockets = io.sockets.connected;
  Object.keys(sockets).forEach((socketId) => {
    const socket = sockets[socketId];
    if (!socket.client.conn.writable) {
      console.log('Cleaning up invalid socket:', socketId);
      socket.disconnect();
    }
  });
}, 5000); // 每5秒检查一次

// 获取当前进程的 CPU 使用率
const os = require('os');
const cpuUsage = os.loadavg()[0]; // 返回过去1分钟内的平均负载
console.log(`Current CPU load: ${cpuUsage}`);

// 根据 CPU 负载决定是否接收新消息
if (cpuUsage > 0.8) { // 假设阈值为0.8
  console.log('CPU load is high, not accepting new messages.');
} else {
  // 正常处理消息
}

解释

1. 监听客户端断开事件：

   • socket.on('disconnect', ...)：当客户端断开连接时触发此事件，可以在这里清理与该客户端相关的资源。

2. 定时清理无效连接：

   • setInterval(...)：每5秒检查一次所有连接的客户端，如果发现客户端连接不可写，则认为该连接无效并断开。

3. 获取 CPU 负载：

   • os.loadavg()[0]：返回过去1分钟内的平均负载，可以用于监控 CPU 使用率，并据此决定是否接受新的消息。

通过以上措施，可以有效避免因大量客户端同时断开连接而导致的内存泄漏问题，同时可以根据 CPU 负载动态调整消息处理策略。