Golang异步工作池worker-pool使用指南

worker-pool是一个简单高效的Golang异步工作池插件库，它可以帮助你管理并发任务，控制goroutine数量，避免资源耗尽。下面我将详细介绍如何使用这个库。

安装

首先安装worker-pool库：

go get github.com/gammazero/workerpool

基本使用

1. 创建和关闭工作池

package main

import (
	"fmt"
	"time"
	
	"github.com/gammazero/workerpool"
)

func main() {
	// 创建一个最多有5个worker的工作池
	wp := workerpool.New(5)
	
	// 确保在工作完成后关闭工作池
	defer wp.Stop()
	
	// 提交任务到工作池
	for i := 0; i < 10; i++ {
		num := i
		wp.Submit(func() {
			fmt.Printf("开始处理任务 %d\n", num)
			time.Sleep(1 * time.Second) // 模拟耗时操作
			fmt.Printf("完成任务 %d\n", num)
		})
	}
	
	// 等待所有任务完成
	wp.StopWait()
}

2. 控制并发数量

worker-pool会自动管理goroutine数量，不会超过你设置的worker数量：

func main() {
	// 限制最多2个并发
	wp := workerpool.New(2)
	defer wp.Stop()
	
	for i := 0; i < 5; i++ {
		id := i
		wp.Submit(func() {
			fmt.Printf("Worker %d 开始\n", id)
			time.Sleep(2 * time.Second)
			fmt.Printf("Worker %d 结束\n", id)
		})
	}
	
	wp.StopWait()
}

3. 处理任务返回值

如果需要获取任务执行结果，可以使用channel：

func main() {
	wp := workerpool.New(3)
	defer wp.Stop()
	
	resultChan := make(chan int, 10)
	
	for i := 0; i < 10; i++ {
		num := i
		wp.Submit(func() {
			// 模拟计算
			res := num * num
			resultChan <- res
		})
	}
	
	go func() {
		wp.StopWait()
		close(resultChan)
	}()
	
	// 收集结果
	for res := range resultChan {
		fmt.Println("结果:", res)
	}
}

高级功能

1. 动态调整worker数量

func main() {
	wp := workerpool.New(2)
	defer wp.Stop()
	
	// 动态调整worker数量
	wp.SetSize(4) // 增加到4个worker
	
	// 提交更多任务...
	
	wp.SetSize(1) // 减少到1个worker
}

2. 等待特定任务完成

func main() {
	wp := workerpool.New(3)
	defer wp.Stop()
	
	done := make(chan struct{})
	
	wp.Submit(func() {
		defer close(done)
		// 执行重要任务
		time.Sleep(2 * time.Second)
		fmt.Println("重要任务完成")
	})
	
	// 提交其他任务...
	
	// 等待重要任务完成
	<-done
}

3. 错误处理

func main() {
	wp := workerpool.New(4)
	defer wp.Stop()
	
	errChan := make(chan error, 10)
	
	for i := 0; i < 10; i++ {
		num := i
		wp.Submit(func() {
			if num == 3 {
				errChan <- fmt.Errorf("任务 %d 失败", num)
				return
			}
			fmt.Printf("任务 %d 成功\n", num)
		})
	}
	
	go func() {
		wp.StopWait()
		close(errChan)
	}()
	
	for err := range errChan {
		fmt.Println("错误:", err)
	}
}

性能考虑

1. worker数量设置：通常设置为CPU核心数的2-4倍，具体取决于任务类型
2. 任务粒度：任务不应太细粒度，否则调度开销可能超过实际工作
3. 内存使用：大量任务时注意内存使用，可考虑限制队列大小

与其他库的比较

worker-pool相比标准库的sync.WaitGroup提供了更高级的控制：

1. 自动限制并发goroutine数量
2. 内置任务队列
3. 动态调整worker数量
4. 更简洁的API

相比其他工作池实现，worker-pool的特点是：

• 轻量级
• 无外部依赖
• 良好的文档和测试覆盖率

总结

worker-pool是一个简单但功能强大的Golang异步工作池实现，适合需要控制并发数量的场景。通过合理设置worker数量，可以避免资源耗尽，同时保持较高的吞吐量。

以上示例展示了worker-pool的基本和高级用法，你可以根据实际需求进行调整和扩展。