NodeJS 下载文件时 Linux 句柄不断增加

发布于 1周前 作者 phonegap100 来自 nodejs/Nestjs

NodeJS 下载文件时 Linux 句柄不断增加

标题可能取的不准确，描述下问题： 最近做了一个系统内包含一个下载.zip 文件的功能，单个文件很小，最多就几百 kb

现在发现在 /proc/pid/fd 下的句柄数量不断增多，但是我自己在测试服上测试了下，又没有重现，不管怎么下载，都没有下载相关的句柄停留，不知道什么问题

下载代码如下：

let mime = "text/plain";
  let file_path = path.join('..gm/', process.cwd(), 'uploads', file_name);
    fs.exists(file_path, function (exists) {
        if (!exists) {
            message.setCode(CODE.OBJECT_NOT_EXIST);
            return message.send();
        }
        //获得文件信息
        fs.stat(file_path, function (err, stats) {
            if (err) {
                message.setCode(CODE.FAIL);
                return message.send();
            }
            let content = fs.createReadStream(file_path, {flags: 'r'});

        res.writeHead(200, {
            'Content-Type': mime,
            "Content-Length": stats.size,
            'Content-Disposition': 'attachment; filename=' + file_name
        });
        content.pipe(res);
        content.on('end', function () {
            res.end();
        });
    });
});

贴部分句柄数据

72 -> /home/ec2-user/gm/uploads/respatch_scorequest_android_a.zip
73 -> /home/ec2-user/gm/uploads/cpatch_scorequest_android_a.zip
74 -> /home/ec2-user/gm/uploads/respatch_scorequest_android_a.zip
75 -> /home/ec2-user/gm/uploads/cpatch_scorequest_android_b.zip
76 -> /home/ec2-user/gm/uploads/respatch_scorequest_android_a.zip
77 -> /home/ec2-user/gm/uploads/bpatch_scorequest_android_a.zip
78 -> /home/ec2-user/gm/uploads/bpatch_scorequest_android_a.zip
79 -> /home/ec2-user/gm/uploads/respatch_scorequest_android_a.zip

Harmonyos Next教程
3 回复

One important caveat is that if the Readable stream emits an error during processing, the Writable destination is not closed automatically. If an error occurs, it will be necessary to manually close each stream in order to prevent memory leaks.

https://nodejs.org/api/stream.html#stream_readable_pipe_destination_options

如果下载中断了就会出现这种情况。下载中断需要手动关闭。


首先感谢回复
之前确实没有监听 error 事件，但是昨晚加上监听 error 事件后，在 error 里手动 content.destroy();了，而且也打了 log，跑了一晚上问题依旧存在，log 里也无任何信息，说明一直没触发 error 事件

不过我复现了这个 bug，不过复现是操作是 fs.createReadStream(file_path, {flags: ‘r’, autoClose: false});
即手动设置 autoClose 为 false，end 之后不 destroy，这个句柄就会一直保持

在Node.js中下载文件时，如果遇到Linux句柄不断增加的问题，通常是由于文件流未被正确关闭或存在内存泄漏。以下是一些可能的解决方案和代码示例：

  1. 确保文件流被正确关闭： 使用fs.createReadStream和fs.createWriteStream时，确保在流结束时正确关闭它们。可以通过监听finish或close事件来确保流的关闭。

    const fs = require('fs');
const source = fs.createReadStream('source.file');
const destination = fs.createWriteStream('destination.file');

source.pipe(destination);

destination.on('finish', () => {
  console.log('Download successfully');
  source.close();
  destination.close();
});

destination.on('error', (err) => {
  console.error('Error:', err);
  source.close();
  destination.close();
});

  2. 使用pump模块自动管理流： pump模块可以自动管理流的管道，并在出现错误时关闭所有流。

    const fs = require('fs');
const pump = require('pump');

pump(fs.createReadStream('source.file'), fs.createWriteStream('destination.file'), (err) => {
  if (err) {
    console.error('Error:', err);
  } else {
    console.log('Download successfully');
  }
});

  3. 检查并优化代码中的其他潜在内存泄漏： 确保所有异步操作（如数据库连接、网络请求等）都正确管理，避免不必要的全局变量。

通过上述方法，可以有效解决Node.js下载文件时Linux句柄不断增加的问题。

回到顶部