Nodejs Limitable Map模块

Limitable Map

The limitable map, for avoid memory leak issue.

模块起源

模块的起源来自于我发现JavaScript开发者喜欢利用JSON对象的键值对做缓存对象。

var map = {};
var get = function (key) {
return map[key];
};
var set = function (key, value) {
map[key] = value;
};
// 检查缓存
if (!get(key)) {
// 从数据库或别的地方获取了对象后，放进缓存中
set(key, value);
}

以上的代码会经常出现在前后端的开发中。这段代码是有潜在风险的。如果对于key不做任何限制，这个缓存对象将可能变得极大。因为将其当作缓存来使用，所以这个对象一直无法回收，当量达到一定的时候，那些不再使用的key，又不能得到回收，就可能造成内存泄漏。
对于字符串或者可以序列化为字符串的对象，通常利用外部缓存工具来完成，比如memcached或者redis来搞定。这些工具具有良好的内存大小控制和过期设置，无需担心内存占用和回收。
但是对于那些无法通过redis来缓存的对象，比如Buffer（为了节省字符串转换的开销），依然需要存放在内存中。这时候这个limitablemap将会帮助你做简单的限制，实现内存回收。

原理

limitable模块的实现原理十分简单，就是在内部维护一个键的数组（队列），当数组的大小到达限制(默认为10)后，将第一个键和键对应元素删除掉。

安装

npm install limitablemap

使用方式

var LimitableMap = require('limitablemap');
var map = new LimitableMap();
map.set(“key1”, “key1”);
map.get(“key1”);

使用的时候与普通map对象没有差别，只有两个API接口：set/get。

注意

在使用时，注意评估有效键的数量，如果设置过小，缓存的作用太小；设置过大，可能会浪费内存。设置限制值的方式如下：

var map = new LimitableMap(100);

模块地址

https://github.com/JacksonTian/limitablemap

最后你如果有更好的方法，或更好的建议，请分享出来。

h691938207 1楼

Nodejs Limitable Map模块

摘要

Limitable Map 是一个用于避免内存泄漏问题的模块。它允许你在内存中存储有限数量的对象，并自动回收不再使用的对象。

模块起源

模块的起源来自于我发现JavaScript开发者喜欢利用JSON对象的键值对做缓存对象。例如：

var map = {};

var get = function (key) {
  return map[key];
};

var set = function (key, value) {
  map[key] = value;
};

// 检查缓存
if (!get(key)) {
  // 从数据库或别的地方获取了对象后，放进缓存中
  set(key, value);
}

以上代码会经常出现在前后端的开发中。尽管这段代码非常常见，但它存在潜在的风险。如果不对 key 做任何限制，这个缓存对象将可能变得极大。由于它是作为缓存来使用，对象无法被回收。当缓存对象的大小达到一定程度时，那些不再使用的 key 无法得到回收，可能导致内存泄漏。

对于那些可以通过外部缓存工具（如 memcached 或 redis）缓存的对象（如字符串或可以序列化为字符串的对象），这些问题可以通过这些工具解决。但对于那些无法通过 redis 缓存的对象（如 Buffer 对象），仍然需要存放在内存中。这时，limitablemap 将会帮助你实现简单的内存限制和回收。

原理

limitablemap 模块的实现原理十分简单，它在内部维护一个键的数组（队列）。当数组的大小达到限制（默认为10）后，将第一个键和对应的值删除掉。这样可以确保缓存中的对象数量始终保持在设定的限制范围内。

安装

你可以通过以下命令安装 limitablemap 模块：

npm install limitablemap

使用方式

使用 limitablemap 模块与普通的 Map 对象几乎没有区别，只有两个 API 接口：set 和 get。

var LimitableMap = require('limitablemap');

var map = new LimitableMap();

map.set("key1", "value1");
console.log(map.get("key1"));  // 输出: value1

注意事项

在使用 limitablemap 时，需要注意评估有效键的数量。如果设置的限制值过小，缓存的作用就会很小；设置过大，则可能会浪费内存。你可以通过以下方式设置限制值：

var map = new LimitableMap(100);

模块地址

你可以访问 GitHub 获取更多关于 limitablemap 的信息。

如果你有更好的实现方法或建议，欢迎分享！

bupafengyu 2楼

这个可以为每个key添加expire字段以及相应的set和check方法，来做一个简单的缓存！

var map = [
			{
				"key1": val1,
				"initStamp": timeStamp,
				"expire": microsecond
			},
			{
				"key2": val2,
				"initStamp": timeStamp,
				"expire": microsecond
			},
			...
		];
map.set = function(){key, val, expire}{
…
};
map.get = function(key){
//先检查是否过期，如果过期则删除
…
};

phonegap100 3楼

刚才也有同学提到按各种不同的算法。有空了慢慢实现。

h691938207 4楼

可以考虑设置一个最大上限，在上限范围内可根据需要自动扩容（像ArrayList，HashMap等）来满足变化的存储需求，还有就是过期策略等等，这个模块要做的话还是挺有学问的。

itying888 5楼

好吧，看看目前我看过，写得最让人看得懂得lru实现吧 https://github.com/rsms/js-lru

Fancy ASCII art illustration of the general design:

    entry             entry             entry             entry        
    ______            ______            ______            ______       
   | head |.newer => |      |.newer => |      |.newer => | tail |      
   |  A   |          |  B   |          |  C   |          |  D   |      
   |______| <= older.|______| <= older.|______| <= older.|______|      
removed  <--  <--  <--  <--  <--  <--  <--  <--  <--  <--  <--  added

nodeper 6楼

Jackson出品必输精品啊~

itying888 7楼

就像是mongodb的一样啊

nodeper 8楼

卧槽，我正好最近想做个差不多的，加的是时间属性，

wuwangju 9楼

Nodejs Limitable Map模块

模块起源

LimitableMap模块起源于JavaScript开发者在使用JSON对象作为缓存时，由于没有限制键的数量，可能导致缓存对象变得极大，从而引发内存泄漏问题。

原理

LimitableMap通过维护一个键的数组（队列），当数组大小达到限制时，自动移除最早加入的键及其对应的值，以确保内存不会无限增长。

安装

npm install limitablemap

使用方式

const LimitableMap = require('limitablemap');

let map = new LimitableMap();

map.set("key1", "value1");
console.log(map.get("key1"));  // 输出: value1

注意事项

在使用时，需要合理设置限制值。设置过小会影响缓存效果；设置过大可能会浪费内存。
设置限制值的方式：

let map = new LimitableMap(100);  // 限制最大键数量为100

示例代码

以下是一个更详细的示例，展示了如何使用LimitableMap来管理缓存：

const LimitableMap = require('limitablemap');

// 创建一个新的LimitableMap，设置最大键数量为5
let map = new LimitableMap(5);

// 添加一些键值对
map.set("key1", "value1");
map.set("key2", "value2");
map.set("key3", "value3");
map.set("key4", "value4");
map.set("key5", "value5");

// 尝试添加第6个键值对
map.set("key6", "value6");

// 输出当前缓存中的所有键
console.log(map.keys());  // 输出: [ 'key2', 'key3', 'key4', 'key5', 'key6' ]

// 获取某个键对应的值
console.log(map.get("key3"));  // 输出: value3

在这个示例中，当我们尝试添加第6个键值对时，LimitableMap会自动移除最早的键值对key1，确保缓存的大小不超过限制值。

总结

LimitableMap 是一个非常实用的模块，可以帮助开发者有效地管理内存，避免因缓存过大而引发的内存泄漏问题。