Node.js 的 MySQL 大数据高并发中间件 TribeDB
Node.js 的 MySQL 大数据高并发中间件 TribeDB
文档教程地址: http://yangjiepro.github.io/TribeDB
Node.js 的 MySQL 分表分库数据访问中间件,实现MySQL数据的分布式集群储存管理。在处理海量数据、高并发访问时,获得更加优越的性能及横向扩展能力。它包含以下主要特性:
- 可伸缩、高扩展的架构
- 自动路由分库,维护数据库连接池
- 支持数据表的“横向”和“纵向”分表
- 支持“一主多从”式读写分离
- 分布式并行处理,成倍提升性能
- 对应用层隐藏数据来源及技术细节
拥有以上特点意味着,可随时通过增加普通级别数据库服务器的方式,方便地扩展整体系统性能,而无需修改业务层架构和代码。理论上TribeDB的扩展能力上线在于主库单表插入性能和主从数据同步开销。通过合理设计“横向”和“纵向”分表和数据切分粒度,可轻松应对上亿级别的数据量和访问请求。
快速上手:
var tribe = require('tribedb');
//载入配置文件,sync选项为true 表示同步读取解析配置文件
tribe.configure(’/path/to/tribe.conf’,{sync:true});
//通过数据库表名建立查询请求
var db = tribe.createQuery(‘my_table’);
//插入封装
db.data({title:‘标题’}).insert(function(err, data){
console.log(err);
console.log(data);
});
//查询封装
db.where(‘title’,‘标题’).order_by(‘time’,‘DESC’).limit(1).join(‘othertable’).select(function(err, data){
console.log(err);
console.log(data);
});
//不使用封装的操作,直接执行sql
tribe.query(‘SELECT * FROM user_0 WHERE id=1 LIMIT 1’,function(err, data){
console.log(err);
console.log(data);
});
TribeDB 通过全局唯一的表名,自动连接对应的数据库,并通过分表配置,将操作映射到涉及的分表,同时完成读写分离。 一切都由 TribeDB 自动完成,业务层不必关心数据的位置。当数据库负载过高需要添加服务器时,只需简单修改配置文件而不必修改业务代码,甚至将整个架构推倒重来。继续阅读文档详细了解如何使用。
项目主页: http://yangjiepro.github.io/TribeDB Github: https://github.com/yangjiePro/TribeDB 开源中国: http://www.oschina.net/p/tribedb
欢迎交流和提交新的代码! 杨捷:yangjie@jojoin.com
Node.js 的 MySQL 大数据高并发中间件 TribeDB
文档教程地址:
内容:
Node.js 的 MySQL 分表分库数据访问中间件,实现MySQL数据的分布式集群储存管理。在处理海量数据、高并发访问时,获得更加优越的性能及横向扩展能力。
它包含以下主要特性:
- 可伸缩、高扩展的架构
- 自动路由分库,维护数据库连接池
- 支持数据表的“横向”和“纵向”分表
- 支持“一主多从”式读写分离
- 分布式并行处理,成倍提升性能
- 对应用层隐藏数据来源及技术细节
拥有以上特点意味着,可随时通过增加普通级别数据库服务器的方式,方便地扩展整体系统性能,而无需修改业务层架构和代码。理论上TribeDB的扩展能力上线在于主库单表插入性能和主从数据同步开销。通过合理设计“横向”和“纵向”分表和数据切分粒度,可轻松应对上亿级别的数据量和访问请求。
快速上手:
var tribe = require('tribedb');
// 载入配置文件,sync选项为true表示同步读取解析配置文件
tribe.configure('/path/to/tribe.conf', {sync: true});
// 通过数据库表名建立查询请求
var db = tribe.createQuery('my_table');
// 插入封装
db.data({title: '标题'}).insert(function(err, data) {
console.log(err);
console.log(data);
});
// 查询封装
db.where('title', '标题').order_by('time', 'DESC').limit(1).join('othertable').select(function(err, data) {
console.log(err);
console.log(data);
});
// 不使用封装的操作,直接执行SQL
tribe.query('SELECT * FROM user_0 WHERE id=1 LIMIT 1', function(err, data) {
console.log(err);
console.log(data);
});
TribeDB 通过全局唯一的表名,自动连接对应的数据库,并通过分表配置,将操作映射到涉及的分表,同时完成读写分离。一切都由 TribeDB 自动完成,业务层不必关心数据的位置。当数据库负载过高需要添加服务器时,只需简单修改配置文件而不必修改业务代码,甚至将整个架构推倒重来。继续阅读文档详细了解如何使用。
项目主页:
- http://yangjiepro.github.io/TribeDB
- Github: https://github.com/yangjiePro/TribeDB
- 开源中国:http://www.oschina.net/p/tribedb
欢迎交流和提交新的代码!
- 杨捷:yangjie@jojoin.com
解释
TribeDB
是一个用于 Node.js 应用的 MySQL 数据库中间件,旨在帮助开发者处理大数据和高并发场景。以下是代码中的几个关键部分:
-
引入
tribedb
模块:var tribe = require('tribedb');
-
配置数据库:
tribe.configure('/path/to/tribe.conf', {sync: true});
这里,我们加载了配置文件,
sync: true
表示同步读取配置文件。 -
创建查询对象:
var db = tribe.createQuery('my_table');
通过指定表名
my_table
创建一个查询对象。 -
插入数据:
db.data({title: '标题'}).insert(function(err, data) { console.log(err); console.log(data); });
使用
data
方法设置插入的数据,并调用insert
方法进行插入操作。 -
查询数据:
db.where('title', '标题').order_by('time', 'DESC').limit(1).join('othertable').select(function(err, data) { console.log(err); console.log(data); });
使用链式方法设置查询条件(如
where
和order_by
),并最终调用select
方法获取数据。 -
直接执行 SQL 查询:
tribe.query('SELECT * FROM user_0 WHERE id=1 LIMIT 1', function(err, data) { console.log(err); console.log(data); });
如果需要执行复杂的 SQL 查询,可以直接使用
tribe.query
方法。
通过这些简单的例子,我们可以看到 TribeDB
提供了一种便捷的方式来处理复杂的数据库操作,从而简化开发流程并提高效率。
顶一个
ATTR
tribedb = 吹逼DB?
厉害 — From LBRC
Node.js 的 MySQL 大数据高并发中间件 TribeDB
文档教程地址:http://yangjiepro.github.io/TribeDB
TribeDB 是一个用于 Node.js 的 MySQL 数据库中间件,旨在处理大数据和高并发场景。其核心功能包括:
- 可伸缩性与高扩展性:可以通过增加普通数据库服务器的方式轻松扩展系统性能。
- 自动路由与分库:维护数据库连接池,自动路由分表操作。
- 分表支持:支持数据表的“横向”(按列)和“纵向”(按行)分表。
- 读写分离:支持“一主多从”的读写分离模式。
- 并行处理:通过分布式并行处理提升性能。
- 透明化操作:对应用层隐藏数据来源和技术细节。
快速上手示例
以下是一些基本用法示例,展示了如何使用 TribeDB 进行数据操作:
var tribe = require('tribedb');
// 载入配置文件,sync 选项为 true 表示同步读取解析配置文件
tribe.configure('/path/to/tribe.conf', { sync: true });
// 通过数据库表名建立查询请求
var db = tribe.createQuery('my_table');
// 插入数据
db.data({ title: '标题' }).insert(function(err, data) {
if (err) console.error(err);
else console.log(data);
});
// 查询数据
db.where('title', '标题').order_by('time', 'DESC').limit(1).join('othertable').select(function(err, data) {
if (err) console.error(err);
else console.log(data);
});
// 直接执行 SQL 查询
tribe.query('SELECT * FROM user_0 WHERE id=1 LIMIT 1', function(err, data) {
if (err) console.error(err);
else console.log(data);
});
配置文件示例 (tribe.conf
)
{
"databases": [
{
"name": "primary",
"host": "localhost",
"port": 3306,
"user": "root",
"password": "password",
"database": "main_db"
},
{
"name": "secondary",
"host": "localhost",
"port": 3307,
"user": "root",
"password": "password",
"database": "slave_db"
}
],
"sharding": {
"table": "my_table",
"columns": ["id"],
"ranges": [
{ "column": "id", "start": 0, "end": 10000, "database": "primary" },
{ "column": "id", "start": 10001, "end": 20000, "database": "secondary" }
]
}
}
通过上述配置,TribeDB 可以根据 id
列的值自动选择合适的数据库进行数据操作。这种分片机制使得 TribeDB 在处理大数据和高并发时具备出色的性能和扩展性。