Golang MySQL纯SQL模式分片与在线表结构变更管理插件库Skeema的使用

Skeema简介

Skeema是一个使用纯SQL以声明式方式管理MySQL和MariaDB模式变更的工具。Skeema CLI工具允许您：

• 将CREATE TABLE语句导出到文件系统，以便在Git仓库中跟踪
• 将模式仓库中的变更与实时数据库进行差异比较，自动生成DDL
• 管理多个环境（如开发、预发布、生产）并轻松保持同步
• 配置使用在线模式变更工具（如pt-online-schema-change、gh-ost或spirit）来执行ALTER TABLE
• 应用可配置的linter规则，主动发现模式设计问题并执行公司策略

安装Skeema

# 在Linux上安装
curl -sSL https://www.skeema.io/download/linux | tar -xz -C /usr/local/bin skeema

# 在MacOS上安装
brew install skeema/tap/skeema

Golang中使用Skeema的示例

以下是一个完整的Golang示例，展示如何使用Skeema管理MySQL分片和在线表结构变更：

package main

import (
	"fmt"
	"os/exec"
	"log"
)

func main() {
	// 初始化Skeema工作目录
	err := initSkeemaWorkspace()
	if err != nil {
		log.Fatalf("初始化Skeema工作目录失败: %v", err)
	}

	// 从数据库拉取当前模式
	err = pullSchemaFromDB()
	if err != nil {
		log.Fatalf("从数据库拉取模式失败: %v", err)
	}

	// 修改本地模式文件
	err = modifySchemaFile()
	if err != nil {
		log.Fatalf("修改模式文件失败: %v", err)
	}

	// 预览变更
	err = previewChanges()
	if err != nil {
		log.Fatalf("预览变更失败: %v", err)
	}

	// 应用变更到数据库
	err = applyChanges()
	if err != nil {
		log.Fatalf("应用变更失败: %v", err)
	}

	fmt.Println("模式变更成功完成!")
}

func initSkeemaWorkspace() error {
	// 创建Skeema工作目录并初始化配置
	cmd := exec.Command("skeema", "init", "--dir", "./schema", 
		"--host", "mysql-shard1.example.com", 
		"--schema", "myapp",
		"--user", "admin",
		"--password", "secret")
	
	output, err := cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("%v: %s", err, output)
	}
	return nil
}

func pullSchemaFromDB() error {
	// 从数据库拉取当前模式到本地文件
	cmd := exec.Command("skeema", "pull", "--dir", "./schema")
	
	output, err := cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("%v: %s", err, output)
	}
	return nil
}

func modifySchemaFile() error {
	// 在实际应用中，这里会通过程序修改模式文件
	// 示例中我们只是模拟这个操作
	fmt.Println("模拟修改本地模式文件...")
	return nil
}

func previewChanges() error {
	// 预览将要对数据库做的变更
	cmd := exec.Command("skeema", "diff", "--dir", "./schema", "--safe-below-size=1")
	
	output, err := cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("%v: %s", err, output)
	}
	
	fmt.Printf("预览变更:\n%s\n", output)
	return nil
}

func applyChanges() error {
	// 实际应用变更到数据库
	// 使用gh-ost进行在线变更
	cmd := exec.Command("skeema", "push", "--dir", "./schema", 
		"--alter-wrapper", "gh-ost",
		"--alter-wrapper-opt", "allow-master-master=true",
		"--alter-wrapper-opt", "cut-over=default",
		"--alter-wrapper-opt", "exact-rowcount=true")
	
	output, err := cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("%v: %s", err, output)
	}
	
	fmt.Printf("变更已应用:\n%s\n", output)
	return nil
}

分片管理示例

以下是一个使用Skeema管理MySQL分片的示例：

package main

import (
	"fmt"
	"os/exec"
	"log"
)

func main() {
	shards := []string{
		"mysql-shard1.example.com",
		"mysql-shard2.example.com",
		"mysql-shard3.example.com",
	}

	for _, shard := range shards {
		err := manageShard(shard)
		if err != nil {
			log.Printf("分片 %s 管理失败: %v", shard, err)
		}
	}
}

func manageShard(host string) error {
	// 为每个分片创建单独的环境目录
	dir := fmt.Sprintf("./schema/%s", host)
	
	// 初始化分片配置
	cmd := exec.Command("skeema", "init", "--dir", dir,
		"--host", host,
		"--schema", "myapp",
		"--user", "admin",
		"--password", "secret")
	
	output, err := cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("初始化分片配置失败: %v: %s", err, output)
	}

	// 拉取分片当前模式
	cmd = exec.Command("skeema", "pull", "--dir", dir)
	output, err = cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("拉取分片模式失败: %v: %s", err, output)
	}

	// 应用变更到分片
	cmd = exec.Command("skeema", "push", "--dir", dir,
		"--alter-wrapper", "gh-ost")
	
	output, err = cmd.CombinedOutput()
	if err != nil {
		return fmt.Errorf("应用变更到分片失败: %v: %s", err, output)
	}

	fmt.Printf("分片 %s 管理完成:\n%s\n", host, output)
	return nil
}

使用Skeema进行在线表结构变更

Skeema支持多种在线模式变更工具，以下是配置示例：

# .skeema 配置文件示例
[production]
host=mysql-prod.example.com
user=admin
password=secret
schema=myapp

# 使用pt-online-schema-change进行在线变更
alter-wrapper=pt-online-schema-change
alter-wrapper-opt="--max-load", "Threads_running=50"
alter-wrapper-opt="--critical-load", "Threads_running=100"
alter-wrapper-opt="--chunk-size=1000"
alter-wrapper-opt="--max-lag=5"

# 或者使用gh-ost
# alter-wrapper=gh-ost
# alter-wrapper-opt="--allow-master-master"
# alter-wrapper-opt="--cut-over=default"
# alter-wrapper-opt="--exact-rowcount"

[lint]
# 配置linter规则
rules=engine,charset,auto-inc,zero-date

最佳实践

1. 版本控制：将Skeema生成的文件纳入Git版本控制
2. 代码审查：对模式变更使用Pull Request流程
3. 环境隔离：为不同环境（开发、测试、生产）使用不同的配置
4. 自动化：将Skeema集成到CI/CD流程中
5. 备份：在执行重大变更前备份数据库

总结

Skeema是一个强大的工具，可以帮助Golang开发者以声明式的方式管理MySQL模式变更，特别是在分片环境中。通过将模式定义存储在代码仓库中，并使用Skeema CLI工具进行变更管理，可以实现更安全、更可预测的数据库模式演进。