Golang Go语言中求推荐 workflow|pipeline 库
目前需求是这样的:
请求内含一个长度可能为 100k 的列表,对每项的数据进行计算处理转换,批量写入数据库,完成后返回响应。
计算处理过程耗 cpu ,因此计算处理是多路并行,计算处理和写数据库也是并行的
目前自己写了个简单的流程。
但想看看有没有开源程序库。
Golang Go语言中求推荐 workflow|pipeline 库
4 回复
bilibili/gengine 这种?
更多关于Golang Go语言中求推荐 workflow|pipeline 库的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
mapreduce 也不一定要用 go 吧
针对你在Golang中寻求推荐的workflow或pipeline库的需求,以下是一些专业的建议:
Workflow库推荐
- Cadence:Uber开源的分布式、可扩展工作流引擎,提供强大的工作流编排和状态管理功能,适用于处理复杂的业务逻辑和长时间运行的任务。
- Temporal:开源的分布式工作流和事件引擎,高度可扩展、灵活且可靠,支持Golang等多种语言,提供丰富的工具和库。
- GoFlow:轻量级工作流引擎,专注于简单和快速的工作流编排,提供基本的工作流功能如任务调度、事件处理和状态管理。
Pipeline库推荐
- pipeline:由Deliveryhero开发的Go库,专注于简化构建高效、可靠的管道流程。它包含各种内置操作,如扇入、扇出、批处理等,且利用Go的并发特性,确保高效率和低复杂度。项目地址为:https://gitcode.com/gh_mirrors/pipeline2/pipeline。
这些库都有各自的特点和适用场景,你可以根据具体需求选择合适的库进行使用。同时,建议查阅相关库的官方文档或社区资源,以获取更详细的信息和示例代码。