Golang分布式处理时代的可组合可观测高性能配置管理插件库Konfig的使用

Konfig是一个为Go语言设计的可组合、可观测、高性能的配置管理库，特别适合大型分布式系统。它允许你从多个来源组合配置，并提供重新加载钩子，使得在高度动态环境中构建应用程序变得简单。

为什么选择Konfig？

大多数Go语言的配置包扩展性不强，很少暴露接口。这使得构建能够动态重新加载状态的应用程序变得复杂，也难以模拟。Konfig围绕4个小接口构建：

• Loader - 加载配置
• Watcher - 监听配置变化
• Parser - 解析配置
• Closer - 关闭资源

Konfig的主要特性包括：

• 动态配置加载
• 可组合 - 可以从Vault、文件、Etcd等多个来源加载配置
• 多语言支持 - 支持JSON、YAML、TOML、Key=Value等多种格式
• 快速、无锁、线程安全读取 - 读取速度比Viper快10倍
• 可观测配置 - 热重载机制和状态管理工具
• 类型化读取 - 从配置中获取类型化值或绑定结构体
• 指标 - 暴露Prometheus指标，显示配置重新加载次数、失败情况以及重新加载所需时间

快速开始

安装Konfig：

go get github.com/lalamove/konfig

基本使用示例

以下是一个加载和监听JSON格式配置文件的完整示例：

package main

import (
	"log"

	"github.com/lalamove/konfig"
	"github.com/lalamove/konfig/loader/klfile"
	"github.com/lalamove/konfig/parser/kpjson"
)

// 定义配置文件
var configFiles = []klfile.File{
	{
		Path:   "./config.json", // 配置文件路径
		Parser: kpjson.Parser,   // 使用JSON解析器
	},
}

func init() {
	// 初始化默认配置
	konfig.Init(konfig.DefaultConfig())
}

func main() {
	// 从JSON文件加载配置
	konfig.RegisterLoaderWatcher(
		klfile.New(&klfile.Config{
			Files: configFiles,
			Watch: true, // 启用文件监听
		}),
		// 可选：文件变更时运行的配置钩子
		func(c konfig.Store) error {
			// 这里可以添加配置变更时的处理逻辑
			return nil
		},
	)

	// 加载并监听配置
	if err := konfig.LoadWatch(); err != nil {
		log.Fatal(err)
	}

	// 从配置文件中检索值
	debug := konfig.Bool("debug")
	log.Println("Debug mode:", debug)
}

配置存储(Store)

Store是配置包的基础，它保存并提供对键值存储的访问。

创建Store

可以通过调用konfig.Init(*konfig.Config)创建全局Store：

konfig.Init(konfig.DefaultConfig())

全局Store可以直接从包中访问：

konfig.Get("foo") // 调用store.Get("foo")

也可以通过konfig.New(*konfig.Config)创建新Store：

s := konfig.New(konfig.DefaultConfig())

加载和监听Store

注册Loader和Watcher后，必须加载和监听Store。

可以同时加载和监听：

if err := konfig.LoadWatch(); err != nil {
	log.Fatal(err)
}

也可以只加载：

if err := konfig.Load(); err != nil {
	log.Fatal(err)
}

或者只监听：

if err := konfig.Watch(); err != nil {
	log.Fatal(err)
}

加载器(Loaders)

加载器将配置值加载到Store中。加载器是Loader接口的实现。

注册加载器

可以单独注册加载器：

configLoader := konfig.RegisterLoader(
	klfile.New(
		&klfile.Config{
			Files: []klfile.File{
				{
					Parser: kpjson.Parser,
					Path:   "./konfig.json",
				},
			},
		},
	),
)

也可以注册带有监听器的加载器：

configLoader := konfig.RegisterLoaderWatcher(
	klfile.New(
		&klfile.Config{
			Files: []klfile.File{
				{
					Parser: kpjson.Parser,
					Path:   "./konfig.json",
				},
			},
			Watch: true,
		},
	),
)

内置加载器

Konfig已经内置了以下加载器：

• 文件加载器 - 从文件加载配置，可以监听文件变化
• Vault加载器 - 从Vault密钥加载配置
• HTTP加载器 - 从HTTP源加载配置
• Etcd加载器 - 从Etcd键加载配置
• Consul加载器 - 从Consul KV加载配置
• 环境变量加载器 - 从环境变量加载配置
• 命令行标志加载器 - 从命令行标志加载配置
• io.Reader加载器 - 从io.Reader加载配置

解析器(Parsers)

解析器将io.Reader解析为konfig.Store。文件加载器、Etcd加载器和HTTP加载器使用解析器。

Konfig已经内置了以下解析器：

• JSON解析器
• TOML解析器
• YAML解析器
• KV解析器
• Map解析器

监听器(Watchers)

监听器在事件触发时调用加载器。监听器是Watcher接口的实现。

内置监听器

Konfig已经内置了以下监听器：

• 文件监听器 - 监听文件变化
• 轮询监听器 - 以给定速率发送事件，或在数据不同时发送事件

钩子(Hooks)

钩子是在加载器Load()调用成功后运行的函数。它们用于在配置更改时重新加载应用程序状态。

注册带有钩子的加载器

configLoader := konfig.RegisterLoaderWatcher(
	klfile.New(
		&klfile.Config{
			Files: []klfile.File{
				{
					Parser: kpyaml.Parser,
					Path:   "./konfig.yaml",
				},
			},
			Watch: true,
		},
	),
	func(s konfig.Store) error {
		// 这里应该重新加载应用程序状态
		return nil
	},
)

为现有加载器添加钩子

configLoader.AddHooks(
	func(s konfig.Store) error {
		// 这里应该重新加载应用程序状态
		return nil
	},
	func(s konfig.Store) error {
		// 这里应该重新加载应用程序状态
		return nil
	},
)

为键添加钩子

konfig.RegisterKeyHook(
	"db.",
	func(s konfig.Store) error {
		// 当任何以"db."为前缀的键更新时运行
		return nil
	},
)

关闭器(Closers)

可以将关闭器添加到konfig中，这样如果konfig加载失败，它将在注册的关闭器上执行Close()。

注册关闭器

konfig.RegisterCloser(closer)

配置组(Config Groups)

可以使用配置组对配置进行命名空间划分。

konfig.Group("db").RegisterLoaderWatcher(
	klfile.New(
		&klfile.Config{
			Files: []klfile.File{
				{
					Parser: kpyaml.Parser,
					Path:   "./db.yaml",
				},
			},
			Watch: true,
		},
	),
)

// 访问分组配置
dbHost := konfig.Group("db").MustString("credentials.host")

将类型绑定到Store

如果希望将配置值解组到结构体或map[string]interface{}，可以将类型绑定到konfig store。

绑定示例

假设有以下JSON配置文件：

{
    "addr": ":8080",
    "debug": true,
    "db": {
        "username": "foo"
    },
    "redis": {
        "host": "127.0.0.1"
    }
}

可以这样绑定：

type DBConfig struct {
	Username string
}
type Config struct {
	Addr      string
	Debug     string
	DB        DBConfig `konfig:"db"`
	RedisHost string   `konfig:"redis.host"`
}

// 初始化根konfig store
konfig.Init(konfig.DefaultConfig())

// 将Config结构体绑定到konfig.Store
konfig.Bind(Config{})

// 注册配置文件
konfig.RegisterLoaderWatcher(
	klfile.New(
		&klfile.Config{
			Files: []klfile.File{
				{
					Parser: kpjson.Parser,
					Path:   "./config.json",
				},
			},
			Watch: true,
		},
	),
)

// 加载并监听配置
if err := konfig.LoadWatch(); err != nil {
	log.Fatal(err)
}

// 获取配置值
c := konfig.Value().(Config)

fmt.Println(c.Addr) // 输出: :8080

严格键(Strict Keys)

可以通过调用Strict方法在konfig.Store上定义必需的键。

使用示例

// 初始化根konfig store并设置严格键
konfig.Init(konfig.DefaultConfig()).Strict("debug", "username")

// 注册加载器
...

// 加载并监听配置
// 如果在加载操作后找不到严格键，LoadWatch将返回非nil错误
if err := konfig.LoadWatch(); err != nil {
	log.Fatal(err)
}

或者使用BindStructStrict严格绑定配置：

type DBConfig struct {
	Username string
}
type Config struct {
	Addr      string    `konfig:"-"` // 这个键将是非严格的
	DB        DBConfig  `konfig:"db"`
	RedisHost string    `konfig:"redis.host"`
}

// 初始化根konfig store
konfig.Init(konfig.DefaultConfig())

// 将Config结构体绑定到konfig.Store
konfig.BindStructStrict(Config{})

// 注册加载器
...

// 加载并监听配置
// 如果在加载操作后找不到任何严格键，LoadWatch将返回非nil错误
if err := konfig.LoadWatch(); err != nil {
	log.Fatal(err)
}

获取器(Getter)

可以轻松构建可以使用动态加载配置的服务。

使用示例

debug := konfig.Getter("debug")

debug.Bool() // true

指标(Metrics)

Konfig带有Prometheus指标。

启用指标

要启用指标，必须在创建配置存储时传递自定义配置：

konfig.Init(&konfig.Config{
	Metrics: true,
	Name: "root",
})

性能

基准测试显示Konfig在读取操作上是零分配，并且比Viper快至少3倍：

BenchmarkGetKonfig-4            200000000                7.75 ns/op            0 B/op          0 allocs/op
BenchmarkStringKonfig-4         30000000                49.9 ns/op             0 B/op          0 allocs/op
BenchmarkGetViper-4             20000000               101 ns/op              32 B/op          2 allocs/op
BenchmarkStringViper-4          10000000               152 ns/op              32 B/op          2 allocs/op
BenchmarkGetGoConfig-4          10000000               118 ns/op              40 B/op          3 allocs/op
BenchmarkStringGoConfig-4       10000000               125 ns/op              40 B/op          3 allocs/op

贡献

欢迎贡献。要贡献，请fork仓库，创建分支并向master分支提交Pull Request。