Octillery: Golang 数据库分片插件库

Octillery 是一个支持数据库分片(sharding)的 Golang ORM 和原生 SQL 插件库，它可以在不修改现有代码的情况下为应用添加分片功能。

主要特性

1. 同时支持 ORM 和原生 SQL 操作
2. 支持多种分片策略
3. 与现有 ORM 兼容（如 GORM）
4. 支持读写分离
5. 支持事务

安装

go get -u github.com/knocknote/octillery

基本使用示例

1. 配置分片

首先需要创建一个配置文件 config.yaml：

development:
  databases:
    - name: user_shard_1
      driver: "mysql"
      datasource: "user:password@tcp(127.0.0.1:3306)/user_shard_1?parseTime=true"
      show_query: true
    - name: user_shard_2
      driver: "mysql"
      datasource: "user:password@tcp(127.0.0.1:3306)/user_shard_2?parseTime=true"
      show_query: true
  shards:
    - name: user_shard
      adapter: modulo
      databases:
        - user_shard_1
        - user_shard_2
      tables:
        - users

2. 初始化 Octillery

package main

import (
	"github.com/knocknote/octillery"
	_ "github.com/go-sql-driver/mysql"
)

func init() {
	if err := octillery.LoadConfig("config.yaml"); err != nil {
		panic(err)
	}
}

3. 使用 ORM 方式操作分片数据库

package main

import (
	"fmt"
	"log"
	
	"github.com/knocknote/octillery"
	"github.com/knocknote/octillery/connection"
)

type User struct {
	ID   int64  `db:"id"`
	Name string `db:"name"`
	Age  int    `db:"age"`
}

func main() {
	// 获取分片连接管理器
	manager := connection.NewConnectionManager()
	
	// 通过 ORM 方式插入数据
	user := &User{Name: "Alice", Age: 25}
	if _, err := manager.InsertByTableName("users", user); err != nil {
		log.Fatal(err)
	}
	
	// 查询数据
	var users []*User
	if err := manager.FindByTableName("users", &users, "name = ?", "Alice"); err != nil {
		log.Fatal(err)
	}
	
	for _, u := range users {
		fmt.Printf("ID: %d, Name: %s, Age: %d\n", u.ID, u.Name, u.Age)
	}
}

4. 使用原生 SQL 操作分片数据库

package main

import (
	"fmt"
	"log"
	
	"github.com/knocknote/octillery"
	"github.com/knocknote/octillery/connection"
)

func main() {
	// 获取分片连接管理器
	manager := connection.NewConnectionManager()
	
	// 原生 SQL 插入
	result, err := manager.ExecByTableName("users", 
		"INSERT INTO users (name, age) VALUES (?, ?)", "Bob", 30)
	if err != nil {
		log.Fatal(err)
	}
	id, _ := result.LastInsertId()
	fmt.Printf("Inserted user ID: %d\n", id)
	
	// 原生 SQL 查询
	rows, err := manager.QueryByTableName("users", 
		"SELECT id, name, age FROM users WHERE name = ?", "Bob")
	if err != nil {
		log.Fatal(err)
	}
	defer rows.Close()
	
	for rows.Next() {
		var id int64
		var name string
		var age int
		if err := rows.Scan(&id, &name, &age); err != nil {
			log.Fatal(err)
		}
		fmt.Printf("ID: %d, Name: %s, Age: %d\n", id, name, age)
	}
}

5. 与 GORM 集成

package main

import (
	"fmt"
	"log"
	
	"github.com/jinzhu/gorm"
	_ "github.com/jinzhu/gorm/dialects/mysql"
	"github.com/knocknote/octillery"
	"github.com/knocknote/octillery/connection"
)

type User struct {
	gorm.Model
	Name string
	Age  int
}

func main() {
	// 初始化 Octillery
	if err := octillery.LoadConfig("config.yaml"); err != nil {
		log.Fatal(err)
	}
	
	// 获取 GORM 分片连接
	db, err := connection.GormConnectionManager().Connection("users")
	if err != nil {
		log.Fatal(err)
	}
	defer db.Close()
	
	// 自动迁移
	db.AutoMigrate(&User{})
	
	// 创建记录
	db.Create(&User{Name: "Charlie", Age: 35})
	
	// 查询
	var user User
	db.First(&user, "name = ?", "Charlie")
	fmt.Printf("User: %+v\n", user)
}

分片策略

Octillery 支持多种分片策略：

1. Modulo：基于 ID 的取模分片
2. Range：基于 ID 的范围分片
3. Date：基于日期的分片
4. Custom：自定义分片策略

可以在配置文件中指定分片策略：

shards:
  - name: user_shard
    adapter: modulo  # 或 range, date, custom
    databases:
      - user_shard_1
      - user_shard_2
    tables:
      - users

事务支持

func transferMoney(fromID, toID int64, amount float64) error {
	tx, err := connection.NewConnectionManager().BeginByTableName("accounts")
	if err != nil {
		return err
	}
	defer tx.RollbackUnlessCommitted()
	
	// 扣款
	if _, err := tx.Exec("UPDATE accounts SET balance = balance - ? WHERE id = ?", amount, fromID); err != nil {
		return err
	}
	
	// 存款
	if _, err := tx.Exec("UPDATE accounts SET balance = balance + ? WHERE id = ?", amount, toID); err != nil {
		return err
	}
	
	return tx.Commit()
}

注意事项

1. 跨分片事务不被支持
2. 复杂的跨分片 JOIN 操作可能会有性能问题
3. 分片键的选择对性能至关重要

Octillery 为 Golang 应用提供了简单易用的数据库分片解决方案，无论是使用 ORM 还是原生 SQL，都能轻松实现分片功能。