HarmonyOS 鸿蒙Next 移动计算云分布式数据缓存服务，实现快速可靠的跨区域多活复制

HarmonyOS 鸿蒙Next 移动计算云分布式数据缓存服务，实现快速可靠的跨区域多活复制

摘要：

本文介绍了一种在移动计算云中扩展分布式数据缓存服务以实现跨区域多活复制的方案。

摘要

本文介绍了一种在移动计算云中扩展分布式数据缓存服务以实现跨区域多活复制的方案。阐述如何保证网络脑裂恢复后区域间数据的一致性，提出了一种跨区域副本数据同步的方法，能够克服在严重网络脑裂下，缓存数据操作的复制无法保证因果关系顺序的情况。本文使用的是最流行的移动计算云分布式数据缓存服务——Redis内存数据库，所述方案以插件的形式进行应用（最大程度减少对缓存服务端和客户端的影响）。Redis开放了强大的扩展API，允许新的抽象数据类型与key关联，但Redis并未对增加和管理全局字典元数据提供直接支持，这在本方案得以实现。本方案使用该扩展API来增加CRDT（无冲突复制数据类型），解决来自多个区域的写入冲突。

关键词：

云数据缓存；跨区域多活；无冲突复制数据类型CRDT；可用性

1. 引言

移动计算云应用要求即便在高峰时段也要保证最短响应时间。因此，使用分布式数据缓存服务来增强性能就显得尤为重要。实际上，数据缓存已几乎成为一项必备移动计算云服务，其中，AWS ElastiCache 缓存服务、Azure Redis 缓存服务、阿里云云数据库 Redis 版、华为分布式缓存服务（DCS），都使用Redis作为缓存引擎。

2. 背景及相关工作

据我们所知，目前尚无移动计算云厂商提供基于CRDT跨区域多活复制的数据缓存服务。Redis公司的Redis Enterprise产品是唯一可以通过基于操作的Commutative Replicated Data Types（CmRDT）来支持该功能的内存数据库软件 [12]，但也没有官方文档描述Redis Enterprise是如何、由哪个组件（proxy、syncer还是Redis Module）来处理CRDT中的数据删除部分。Roshi [13] 提供时间序列事件存储，通过LWW元素集CRDT实现，使用有限的inline garbage collection。Roshi是基于Redis的分布式无状态层，在互不通信的集群上复制数据。Roshi项目已超过5年未更新。

3. 系统架构

我们针对移动计算云中分布式数据缓存服务的跨区域多活复制方案由四个逻辑组件组成：数据缓存服务Redis的CRDT模块、Replicator、Replayer、以及Replicator和Replayer的操作日志，如图1和2所示。Replicator和Replayer的实现机制相同，但作为两种模式运行。

4. 实现最终一致性

CRDT模块作为一种可动态加/卸载的共享库加载到缓存服务端，并可以直接开始拦截来自缓存服务客户端的请求，以对内部数据库执行本地操作。CRDT模块更新数据库，然后向其他区域发送请求，对那些区域的数据库进行远程操作。图2中的Replicator和Replayer相互协调，确保在没有重大故障的情况下，所有远程操作都能准确按顺序投递一次，但无法保证基于因果关系的投递。当发生重大故障时，内部数据库的全量数据将在区域之间交换。

5. 其他方案的比较

本节我们将评估和对比其他声称能够在内存数据库云服务或软件中实现跨区域多活复制的方案。

5.4. 我们的方案

我们对单值register map实现了跨区域多活复制，使用向量时钟来识别并发的数据更改，并对非并发更改进行正确排序。

Redis Enterprise是唯一可以使用基于操作的CRDT来支持跨区域多活复制的内存数据库软件，与之相比，我们的方案具有以下优势：

• 结合基于状态的CRDT和Redis模块数据类型API，避免将“effect”数据与数据库条目分开存储和复制，从而使这些条目的迁移更安全、更方便。
• 无需等待外部组件（Syncer或Proxy），能够在CRDT模块中直接解决数据冲突，使冲突解决速度更快。
• 不需要代理（减少一次跳转），从而对缓存服务端和跨区域复制的性能影响降至最低。
• 沿用Redis数据缓存服务的主从复制机制，可最大限度地提高区域内和跨区域复制的性能。

6. 结论和今后方向

通过扩展缓存服务的实现，我们学到了一些重要的经验教训。首先，在任何实际的CRDT应用中，如果CRDT实例能被删除，都必须同时设计顶层map和map中的CRDT对象。