Nodejs如何跟踪内存泄露（或者谁用过3rd-Eden/node-memcached）

Node.js 如何跟踪内存泄露（或者谁用过 3rd-Eden/node-memcached）

背景

最近在项目中引入了 memcached 后，发现线上服务存在内存泄露问题。服务器配置为 8GB 内存，运行 4 到 5 天后内存就被耗尽。初步检查发现，在移除 memcached 相关代码后，内存泄露现象消失。

疑点

怀疑是由于 3rd-Eden/node-memcached 引起的内存泄露。以下是相关代码片段：

var memcached = require("memcached");
var mc = new memcached(config.memcache, {
    reconnect: 100,
    retries: 2,
    failures: 2,
    timeout: 300,
    failuresTimeout: 1000,
    minTimeout: 100,
    poolSize: 50
});

mc.on('issue', function(details) {
    // TODO: Handle issues here
});

exports.get_user = function(req, data) {
    var key = data.key;
    mc.get(key, function(err, item) {
        if (item) {
            // 应用逻辑
        } else {
            // 从数据库读取后 set
            // 应用逻辑
        }
    });
}

分析

在低访问量情况下，使用 Apache Bench (ab) 进行压测并未发现问题。但在高访问量环境下（例如每台机器每天处理 50 万以上的请求），经过 4 到 5 天内存被耗尽。进一步测试发现：

• 移除 memcached 相关代码后，内存不再泄露。
• 只初始化 memcached 客户端时，内存不泄露。
• 只有在添加 mc.get 和 mc.set 操作时，内存泄露才会发生。

这表明 memcached 的某些操作可能是导致内存泄露的原因。

如何跟踪内存泄露

1. 使用内存分析工具

   • Node Inspector 或 Chrome DevTools: 可以帮助你找到内存泄漏的具体原因。
   • Heap Snapshots: 可以捕获堆内存快照并比较它们，查看哪些对象没有被回收。

2. 代码审查

   • 确认是否有未释放的引用或循环引用。
   • 确认是否正确关闭了 memcached 连接。

3. 监控内存使用情况

   • 使用 process.memoryUsage() 函数监控内存使用情况。

示例代码：使用 Heap Snapshots 跟踪内存泄露

const memcached = require("memcached");

// 初始化 memcached 客户端
const mc = new memcached(config.memcache, {
    reconnect: 100,
    retries: 2,
    failures: 2,
    timeout: 300,
    failuresTimeout: 1000,
    minTimeout: 100,
    poolSize: 50
});

// 启动内存监控
function startMonitoring() {
    setInterval(() => {
        const memoryUsage = process.memoryUsage();
        console.log(`Memory Usage: ${memoryUsage.rss} bytes`);
    }, 1000);
}

// 获取用户信息
exports.get_user = function(req, data) {
    const key = data.key;
    mc.get(key, function(err, item) {
        if (err) {
            console.error('Error fetching from memcached:', err);
            return;
        }

        if (item) {
            // 应用逻辑
        } else {
            // 从数据库读取后 set
            // 应用逻辑
        }
    });
}

startMonitoring();

// 为了方便演示，这里模拟一些请求
for (let i = 0; i < 1000000; i++) {
    exports.get_user(null, { key: `test_key_${i}` });
}

总结

通过以上步骤可以有效地追踪内存泄露问题。如果仍然无法定位问题，建议进一步检查 memcached 客户端的文档和源码，确认是否有已知的内存泄露问题。

之前碰到过node-memcached的内存泄漏，这么久了还没修