Nodejs 在Linux下，TCP client重复连接服务端一个端口，出现Error connect EMFILE错误

Nodejs 在Linux下，TCP client重复连接服务端一个端口，出现Error connect EMFILE错误

用nodejs的net模块写一个客户端，连接其他主机的一个端口并发送一包数据，然后断开。在进行压力测试的时候，出现Error： connect EMFILE错误，有人遇到过吗

9 回复

Node.js 在 Linux 下 TCP 客户端重复连接服务端端口时出现 Error: connect EMFILE 错误

问题描述

在使用 Node.js 的 net 模块编写一个 TCP 客户端时，客户端会反复连接到远程服务器的某个端口，并发送一些数据后断开连接。在进行高并发的压力测试时，出现了 Error: connect EMFILE 错误。

错误原因

EMFILE 错误表示文件描述符（file descriptor）已经耗尽。在 Linux 系统中，每个进程都有一个文件描述符表，用于管理打开的文件、套接字等资源。当你的程序创建了过多的连接而没有及时关闭它们时，系统分配给该进程的文件描述符就会达到上限，从而导致 EMFILE 错误。

解决方案

  1. 增加文件描述符限制：可以通过修改系统配置来增加每个进程可以使用的文件描述符数量。
  2. 优化代码逻辑：确保每次连接完成后正确地关闭连接，释放资源。

示例代码

const net = require('net');

// 创建一个客户端
const client = new net.Socket();

// 连接函数
function connectToServer() {
    client.connect(8080, '127.0.0.1', () => {
        console.log('Connected to server');
        // 发送数据
        client.write('Hello, Server!');
    });

    client.on('data', (data) => {
        console.log(`Received data: ${data}`);
        // 断开连接
        client.destroy();
    });

    client.on('close', () => {
        console.log('Connection closed');
        // 重新连接
        setTimeout(connectToServer, 1000); // 延迟一段时间再重连
    });

    client.on('error', (err) => {
        console.error(`Socket error: ${err.message}`);
    });
}

// 启动连接
connectToServer();

解释

  • client.connect() 方法用于建立连接。
  • client.write() 方法用于发送数据。
  • client.destroy() 方法用于关闭连接，释放资源。
  • 使用 setTimeout 来延迟重新连接的时间，避免过于频繁的连接尝试。

通过这种方式，我们可以更好地管理和控制连接的数量，避免因文件描述符耗尽而导致的 EMFILE 错误。同时，也可以考虑增加系统的文件描述符限制，以适应更高并发的需求。


超過1024 file descriptor , 請搜ulimit

client.write(str); client.end(); 这种写法是不是已经正常关闭连接了？？ write方法不能写成下面这样吗： client.write(string,function(){ … });

Linux 对用户文件打开数量有限制的，默认貌似是1024个，你可以通过更改这个限制再做压力测试。使用linux 命令 ulimit 查看一下。client.end()方法确实socket已经断开了

可能是因为你断开是在回调里 才断开。你的程序流程可能是先建立了n多连接后，再一个个断开。先建立n个连接的时候就已经超过了 nodejs的连接限制。

end之后应该不用再对socket做什么操作用来释放什么的吧？

ulimit一般改成多少比较合适

client.on(‘connect’,function(){ client.write(str); client.end(); }); 我的代码是上面这样的，end确实是放在‘connect’时间的回调里，这样写有什么问题吗？

当你在Node.js中频繁地创建TCP客户端连接时，可能会遇到EMFILE错误。这个错误表示系统打开的文件描述符（包括网络连接）数量超过了限制。你可以通过调整系统级别的文件描述符限制来解决这个问题。

解决方案

  1. 增加文件描述符限制：

    • 对于当前会话用户，可以在命令行中使用 ulimit 命令增加文件描述符限制。
    • 对于系统全局设置，需要修改系统的配置文件（如 /etc/security/limits.conf）。

  2. 优化客户端代码：

    • 如果可能，重用已经建立的连接而不是每次都创建新的连接。
    • 使用连接池来管理多个连接。

示例代码

优化后的客户端代码

const net = require('net');

function createClient() {
    const client = new net.Socket();
    
    client.connect(12345, 'localhost', () => {
        console.log('Connected');
        client.write('Hello, Server!');
    });

    client.on('data', (data) => {
        console.log('Received: ' + data);
        client.destroy(); // Close the connection
    });

    client.on('close', () => {
        console.log('Connection closed');
    });

    client.on('error', (err) => {
        console.error(err);
    });
}

// 创建多个客户端连接
for (let i = 0; i < 100; i++) {
    setTimeout(createClient, i * 1000); // 每隔一秒创建一个新的连接
}

解释

  • 重用连接：在上面的示例中，我们创建了一个客户端连接，并在接收到数据后立即关闭连接。这比每次创建新的连接更有效率。
  • 定时器：使用setTimeout间隔创建连接可以避免瞬间创建大量连接导致的资源耗尽问题。

如果你仍然遇到性能瓶颈，建议考虑使用连接池或优化你的应用逻辑以减少不必要的连接。

回到顶部