Nodejs：jsGen技术总结之在Node.js中构建redis同步缓存

Nodejs：jsGen技术总结之在Node.js中构建redis同步缓存

以前版本的jsGen直接利用Node.js的Buffer内存缓存数据，这样带来的一个问题是无法开启Cluster，多个Node.js进程的内存都是相互独立的，不能相互访问，不能及时更新数据变动。

新本（0.6.0）jsGen使用了第三方内存数据库redis作为缓存，如此以来多进程或多机运行jsGen成为可能。redis作为内存缓存的唯一缺陷就是——异步驱动，读取或写入数据都得callback！。

var myData;
redisCache.get(key, function (err, data) {
// callback读取缓存数据
myData = data;
});
redisCache.put(key, myData, function (err, reply) {
// 写入缓存，callback确认写入结果
});

那么，有没有办法构建一个“同步”的redis缓存呢，使得读取、写入缓存像下面一样简单：

// 从缓存读取数据
var myData = redisCache.data;

// 往缓存写入数据
redisCache.data = myData;

redis同步缓存原理

我采用JavaScript的getter、setter和闭包构建了这个redis同步缓存：

利用闭包创建一个缓存数据镜像，读取缓存时，getter从镜像读取；写入缓存时，setter把值写入镜像，再写入redis数据库。

如果开启多进程，缓存镜像仍然是分布在各个进程中，是相互独立的。如果一个进程更新了缓存数据，如何及时更新其它进程的缓存镜像呢？这就用到了redis的Pub/Sub系统，setter更新缓存时，更新数据写入数据库后，发布更新通知，其它redis进程收到通知就从redis数据库读取数据来更新镜像。

各进程的缓存虽然不是真正的同步更新，但也算及时更新了，可以满足一般业务需要。缺点是多消耗了一倍的内存。对于频繁访问更新的小数据，如config数据，很适合采用这个方案。下面是来自jsGen/lib/redia.js的源代码，通过一个config的json数据模板构建一个redis同步缓存的config对象，数据不但写入了redis数据库，还按照一定频率写入MongoDB数据库。

jsGen源代码片段

// clientSub：专用于订阅的redis client
// client[globalCacheDb]：存取数据的redis client
// 异步任务函数then及then.each，见 https://github.com/zensh/then.js
function initConfig(configTpl, callback) {
var config = {},
// 新构建的config缓存
_config = union(configTpl),
// 从configTpl克隆的config闭包镜像
subPubId = MD5(’’ + Date.now() + Math.random(), ‘base64’);
// 本进程的唯一识别ID
callback = callback || callbackFn;

var update = throttle(function () {
    jsGen.dao.index.setGlobalConfig(_config);
}, 300000); // 将config写入MongoDB，每五分钟内最多执行一次

function updateKey(key) {
// 更新镜像的key键值
    return then(function (defer) {
        client[globalCacheDb].hget('config.hash', key, defer);
        // 从redis读取更新的数据
    }).then(function (defer, reply) {
        reply = JSON.parse(reply);
        _config[key] = typeof _config[key] === typeof reply ? reply : _config[key];
        // 数据写入config镜像
        defer(null, _config[key]);
    }).fail(errorHandler);
}

clientSub.on('message', function (channel, key) {
    var ID = key.slice(0, 24);
    key = key.slice(24);
    // 分离识别ID和key
    if (channel === 'updateConfig' && ID !== subPubId) {
    // 来自于updateConfig频道且不是本进程发出的更新通知
        if (key in _config) {
            updateKey(key); // 更新一个key
        } else {
            each(_config, function (value, key) { // 更新整个config镜像
                updateKey(key);
            });
        }
    }
});
clientSub.subscribe('updateConfig');
// 订阅updateConfig频道

each(configTpl, function (value, key) {
// 从configTpl模板构建getter/setter，利用Hash类型存储config
    Object.defineProperty(config, key, {
        set: function (value) {
            then(function (defer) {
                if ((value === 1 || value === -1) && typeof _config[key] === 'number') {
                    _config[key] += value;
                    // 按1递增或递减，更新镜像，再更新redis
                    client[globalCacheDb].hincrby('config.hash', key, value, defer);
                } else {
                    _config[key] = value;
                    // 因为redis存储字符串，下面先序列化。
                    client[globalCacheDb].hset('config.hash', key, JSON.stringify(value), defer);
                }
            }).then(function () {
            // redis数据库更新完成，向其他进程发出更新通知
                client[globalCacheDb].publish('updateConfig', subPubId + key);
            }).fail(jsGen.thenErrLog);
            update(); // 更新MongoDB
        },
        get: function () {
            return _config[key];
            // 从镜像读取数据
        },
        enumerable: true,
        configurable: true
    });
});
// 初始化config对象的值，如重启进程后，如果redis数据库原来存有数据，读取该数据
then.each(Object.keys(configTpl), function (next, key) {
    updateKey(key).then(function (defer, value) {
        return next ? next() : callback(null, config);
        // 异步返回新的config对象，已初始化数据值
    }).fail(function (defer, err) {
        callback(err);
    });
});
return config; // 同步返回新的config对象
}

初始化代码，详见jsGen/app.js

then(function (defer) {
    redis.initConfig(jsGen.lib.json.GlobalConfig, defer);
    // 异步初始化config缓存
}).then(function (defer, config) {
    jsGen.config = config;
    // config缓存引用到全局变量jsGen
    // ...
}).then(function (defer, config) {
    // ...
});

调用示例

// 从config缓存取配置值并new一个LRU缓存
jsGen.cache.user = new CacheLRU(jsGen.config.userCache);

// 更新网站访问次数
jsGen.config.visitors = 1; // 网站访问次数+1