Flutter数据库管理插件libdbm的使用

简介

这是libdbm.dart，一个类似于dbm的数据库的dart实现。它极其简单且极其快速。为了便于使用，除了较低级别的API外，还提供了dart Map接口的实现。此Map接口可以在适当的序列化参数下持久化任何数据。像许多其他基于dbm的系统一样，它使用哈希方法提供了一个非常快的键值存储。它有意设计得非常精简，并且没有依赖项。

这是一个早期预览版。将添加额外的功能，包括维护多个键上的索引的能力和支持IndexedDB API。

开始使用

该API故意极其简单。要使用此库，需要导入包，打开数据库并存储/检索值。

持久化Map

使用PersistentMap接口与使用普通Map非常相似，尽管数据存储在磁盘上。所有常规的Map接口都得到支持，除了cast()操作。

import 'dart:io';
import 'package:libdbm/libdbm.dart';

void main() {
  final file = File('dummy.db');
  var db = PersistentMap.withStringValue(file, create:true);

  // 持久化
  db['foo'] = 'bar';
  var result = db['foo'];
  print('$result');
  db.remove('foo');
  db.close();

  file.delete();
}

PersistentMap实现不会覆盖已存在的数据库，但会在指定create:true时创建新数据库。

原始DBM/HashDBM

此API是最底层的API，PersistentMap就是基于此构建的。它在功能上非常相似，但需要一些额外的工作才能使用。

import 'dart:io';
import 'dart:convert' show utf8;
import 'package:libdbm/libdbm.dart';

void main() {
  final key = utf8.encoder.convert('A key');
  final value = utf8.encoder.convert('A value');

  final file = File('dummy.db');
  final db = HashDBM(file.openSync(mode: FileMode.write));
  db.put(key, value);
  var result = db.get(key);
  print('${utf8.decode(result!.toList())}');
  for (var i = db.entries(); i.moveNext();) {
    print('${utf8.decode(i.current.key)}');
    print('${utf8.decode(i.current.value)}');
  }
  db.remove(key);
  db.get(key); // 将返回null
  db.close();
  file.delete();
}

注意，要打开已关闭的数据库，请使用FileMode.append，否则旧数据将被覆盖（这是一种截断数据库的简单方法）。

性能

基准测试是出了名的困难，但作为一个大致的指导原则，libdbm哈希存储能够在每秒处理数千个键值对。以下数字来自测试套件中的10,000对。

可以看到，性能的一个主要因素是内部哈希表的大小。这将在调用flush()或close()时持久化到外部存储，并通常会消耗16*num字节。一般来说，将其设置为较大的素数是好的。

其他主要因素是是否启用了flush，它会强制将基于内存的数据结构写入磁盘。还可以向记录添加CRC校验，这将大致减半吞吐量（即操作将花费两倍的时间）；

空间和内存使用

数据库文件格式有一些固定和动态大小的开销。一般来说，静态开销小于1K。动态开销是哈希表和内存池所需的大小（大约每个条目16字节），然后是每条记录约32字节的开销，记录对齐到128字节边界。因此，存储大量小值的开销会相对较高，最好将这些值聚合到单个记录中。相反，存储较大值（如文本或JSON数据）的开销则相对较低。

限制

当前最大的限制与健壮性有关。该库尚未支持事务，虽然已经采取了一些措施确保可靠性，但该库不使用WAL（Write-Ahead Logging），所以在极端情况下，可能会有很小的机会发生损坏。最好的缓解方式是启用flush。还需要编写更多的测试来处理不良输入等，但该库经过了充分测试，并已在生产中使用。

目前，哈希表的大小是固定的，但文件格式支持重新哈希/重新分配哈希表。未来将利用这一能力自动优化性能。

计划增强

• 值的版本控制，以便保留n个先前的值（可选）。这可能通过实现指针版本控制来完成。
• 事务支持，基本上缓冲指针更新并在原子性地写入。指针版本控制实现后，这将相对简单。
• 极端形式的版本控制将是纯追加行为。
• 支持有序遍历和简单查询的索引。可能是btree和splay-tree索引。
• 支持IndexedDB API。
• 可能实现一个STM服务器。

公开的API

底层存储引擎的接口基本上是一个简单的从Uint8List到Uint8List的映射。

abstract class DBM {
  Uint8List? get(Uint8List key);
  Uint8List? remove(Uint8List key);
  Uint8List? put(Uint8List key, Uint8List value);
  Uint8List putIfAbsent(Uint8List key, Uint8List value);

  Iterator<MapEntry<Uint8List,Uint8List>> entries();

  DateTime modified();
  int version();
  int size();
  int count();
  void clear();
  void flush();
  void close();
}