Node.js 的 MySQL 大数据高并发中间件 TribeDB

Node.js 的 MySQL 大数据高并发中间件 TribeDB

文档教程地址: http://yangjiepro.github.io/TribeDB

Node.js 的 MySQL 分表分库数据访问中间件,实现MySQL数据的分布式集群储存管理。在处理海量数据、高并发访问时,获得更加优越的性能及横向扩展能力。它包含以下主要特性:

  1. 可伸缩、高扩展的架构
  2. 自动路由分库,维护数据库连接池
  3. 支持数据表的“横向”和“纵向”分表
  4. 支持“一主多从”式读写分离
  5. 分布式并行处理,成倍提升性能
  6. 对应用层隐藏数据来源及技术细节

拥有以上特点意味着,可随时通过增加普通级别数据库服务器的方式,方便地扩展整体系统性能,而无需修改业务层架构和代码。理论上TribeDB的扩展能力上线在于主库单表插入性能和主从数据同步开销。通过合理设计“横向”和“纵向”分表和数据切分粒度,可轻松应对上亿级别的数据量和访问请求。

快速上手:

var tribe = require('tribedb');

//载入配置文件,sync选项为true 表示同步读取解析配置文件 tribe.configure(’/path/to/tribe.conf’,{sync:true});

//通过数据库表名建立查询请求 var db = tribe.createQuery(‘my_table’);

//插入封装 db.data({title:‘标题’}).insert(function(err, data){ console.log(err); console.log(data); });

//查询封装 db.where(‘title’,‘标题’).order_by(‘time’,‘DESC’).limit(1).join(‘othertable’).select(function(err, data){ console.log(err); console.log(data); });

//不使用封装的操作,直接执行sql tribe.query(‘SELECT * FROM user_0 WHERE id=1 LIMIT 1’,function(err, data){ console.log(err); console.log(data); });

TribeDB 通过全局唯一的表名,自动连接对应的数据库,并通过分表配置,将操作映射到涉及的分表,同时完成读写分离。 一切都由 TribeDB 自动完成,业务层不必关心数据的位置。当数据库负载过高需要添加服务器时,只需简单修改配置文件而不必修改业务代码,甚至将整个架构推倒重来。继续阅读文档详细了解如何使用。

项目主页: http://yangjiepro.github.io/TribeDB Github: https://github.com/yangjiePro/TribeDB 开源中国: http://www.oschina.net/p/tribedb

欢迎交流和提交新的代码! 杨捷:yangjie@jojoin.com


7 回复

Node.js 的 MySQL 大数据高并发中间件 TribeDB

文档教程地址:

内容:

Node.js 的 MySQL 分表分库数据访问中间件,实现MySQL数据的分布式集群储存管理。在处理海量数据、高并发访问时,获得更加优越的性能及横向扩展能力。

它包含以下主要特性:

  1. 可伸缩、高扩展的架构
  2. 自动路由分库,维护数据库连接池
  3. 支持数据表的“横向”和“纵向”分表
  4. 支持“一主多从”式读写分离
  5. 分布式并行处理,成倍提升性能
  6. 对应用层隐藏数据来源及技术细节

拥有以上特点意味着,可随时通过增加普通级别数据库服务器的方式,方便地扩展整体系统性能,而无需修改业务层架构和代码。理论上TribeDB的扩展能力上线在于主库单表插入性能和主从数据同步开销。通过合理设计“横向”和“纵向”分表和数据切分粒度,可轻松应对上亿级别的数据量和访问请求。

快速上手:

var tribe = require('tribedb');

// 载入配置文件,sync选项为true表示同步读取解析配置文件
tribe.configure('/path/to/tribe.conf', {sync: true});

// 通过数据库表名建立查询请求
var db = tribe.createQuery('my_table');

// 插入封装
db.data({title: '标题'}).insert(function(err, data) {
    console.log(err);
    console.log(data);
});

// 查询封装
db.where('title', '标题').order_by('time', 'DESC').limit(1).join('othertable').select(function(err, data) {
    console.log(err);
    console.log(data);
});

// 不使用封装的操作,直接执行SQL
tribe.query('SELECT * FROM user_0 WHERE id=1 LIMIT 1', function(err, data) {
    console.log(err);
    console.log(data);
});

TribeDB 通过全局唯一的表名,自动连接对应的数据库,并通过分表配置,将操作映射到涉及的分表,同时完成读写分离。一切都由 TribeDB 自动完成,业务层不必关心数据的位置。当数据库负载过高需要添加服务器时,只需简单修改配置文件而不必修改业务代码,甚至将整个架构推倒重来。继续阅读文档详细了解如何使用。

项目主页:

欢迎交流和提交新的代码!

  • 杨捷:yangjie@jojoin.com

解释

TribeDB 是一个用于 Node.js 应用的 MySQL 数据库中间件,旨在帮助开发者处理大数据和高并发场景。以下是代码中的几个关键部分:

  1. 引入 tribedb 模块:

    var tribe = require('tribedb');
    
  2. 配置数据库:

    tribe.configure('/path/to/tribe.conf', {sync: true});
    

    这里,我们加载了配置文件,sync: true 表示同步读取配置文件。

  3. 创建查询对象:

    var db = tribe.createQuery('my_table');
    

    通过指定表名 my_table 创建一个查询对象。

  4. 插入数据:

    db.data({title: '标题'}).insert(function(err, data) {
        console.log(err);
        console.log(data);
    });
    

    使用 data 方法设置插入的数据,并调用 insert 方法进行插入操作。

  5. 查询数据:

    db.where('title', '标题').order_by('time', 'DESC').limit(1).join('othertable').select(function(err, data) {
        console.log(err);
        console.log(data);
    });
    

    使用链式方法设置查询条件(如 whereorder_by),并最终调用 select 方法获取数据。

  6. 直接执行 SQL 查询:

    tribe.query('SELECT * FROM user_0 WHERE id=1 LIMIT 1', function(err, data) {
        console.log(err);
        console.log(data);
    });
    

    如果需要执行复杂的 SQL 查询,可以直接使用 tribe.query 方法。

通过这些简单的例子,我们可以看到 TribeDB 提供了一种便捷的方式来处理复杂的数据库操作,从而简化开发流程并提高效率。


感觉还需要教程的东西才能用,不然配置处与描述的诱人的特性不知如何处理,http://yangjiepro.github.io/TribeDB/ 里有教程的,应先说明,不然很多人看了就关了。

顶一个

tribedb = 吹逼DB?

厉害 — From LBRC

Node.js 的 MySQL 大数据高并发中间件 TribeDB

文档教程地址http://yangjiepro.github.io/TribeDB

TribeDB 是一个用于 Node.js 的 MySQL 数据库中间件,旨在处理大数据和高并发场景。其核心功能包括:

  • 可伸缩性与高扩展性:可以通过增加普通数据库服务器的方式轻松扩展系统性能。
  • 自动路由与分库:维护数据库连接池,自动路由分表操作。
  • 分表支持:支持数据表的“横向”(按列)和“纵向”(按行)分表。
  • 读写分离:支持“一主多从”的读写分离模式。
  • 并行处理:通过分布式并行处理提升性能。
  • 透明化操作:对应用层隐藏数据来源和技术细节。

快速上手示例

以下是一些基本用法示例,展示了如何使用 TribeDB 进行数据操作:

var tribe = require('tribedb');

// 载入配置文件,sync 选项为 true 表示同步读取解析配置文件
tribe.configure('/path/to/tribe.conf', { sync: true });

// 通过数据库表名建立查询请求
var db = tribe.createQuery('my_table');

// 插入数据
db.data({ title: '标题' }).insert(function(err, data) {
  if (err) console.error(err);
  else console.log(data);
});

// 查询数据
db.where('title', '标题').order_by('time', 'DESC').limit(1).join('othertable').select(function(err, data) {
  if (err) console.error(err);
  else console.log(data);
});

// 直接执行 SQL 查询
tribe.query('SELECT * FROM user_0 WHERE id=1 LIMIT 1', function(err, data) {
  if (err) console.error(err);
  else console.log(data);
});

配置文件示例 (tribe.conf)

{
  "databases": [
    {
      "name": "primary",
      "host": "localhost",
      "port": 3306,
      "user": "root",
      "password": "password",
      "database": "main_db"
    },
    {
      "name": "secondary",
      "host": "localhost",
      "port": 3307,
      "user": "root",
      "password": "password",
      "database": "slave_db"
    }
  ],
  "sharding": {
    "table": "my_table",
    "columns": ["id"],
    "ranges": [
      { "column": "id", "start": 0, "end": 10000, "database": "primary" },
      { "column": "id", "start": 10001, "end": 20000, "database": "secondary" }
    ]
  }
}

通过上述配置,TribeDB 可以根据 id 列的值自动选择合适的数据库进行数据操作。这种分片机制使得 TribeDB 在处理大数据和高并发时具备出色的性能和扩展性。

回到顶部