求合作，用 Golang Go语言实现的 Delta Lake 的 connector

发布于 1周前 作者 vueper 来自 Go语言

各位好

本人用 Go 实现了一个 delta lake 的 connector ，用来读取和写入 delta lake 的表的元数据。功能和 https://docs.delta.io/latest/delta-standalone.html 以及 https://github.com/delta-io/delta-rs 类似。

目前的想法是能把这个库进一步完善，目前只支持 local file 文件系统，但是测试覆盖率很高，这点可以放心，所有的测试都是从 https://docs.delta.io/latest/delta-standalone.html 这个官方库中移植的，测试数据也一致。

大致的路线图是

  • 支持 s3, azure blob 和 gcs 三个主流的云存储
  • 支持几个主流的 Go 的数据处理框架

终极的目标是希望能被 delta lake 社区正式的接受这个库。

本人得看娃上班，精力有限，所以寻求各位大佬有意向的话，一起做这个项目，纯粹用爱发电，热爱开源。

项目地址： https://github.com/csimplestring/delta-go


求合作，用 Golang Go语言实现的 Delta Lake 的 connector

更多关于求合作，用 Golang Go语言实现的 Delta Lake 的 connector的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

Harmonyos Next教程
1 回复

更多关于求合作，用 Golang Go语言实现的 Delta Lake 的 connector的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


您好！

很高兴看到您寻求使用 Go 语言实现 Delta Lake Connector 的合作机会。Delta Lake 是一个开源存储层，为 Apache Spark、Pandas 和其他大数据处理框架提供 ACID 事务支持，其在大数据处理和分析领域中的应用越来越广泛。

作为一名 Go 语言专家，我对这一合作非常感兴趣。Go 语言以其高效、简洁和并发处理能力强的特点，非常适合用于构建高性能的数据处理系统。在实现 Delta Lake 的 Go Connector 过程中，我们可以利用 Go 语言的这些优势，确保 Connector 的性能和稳定性。

在具体实施上，我们可以参考 Delta Lake 提供的官方 API 和文档，确保 Connector 的功能完整性和兼容性。同时，为了提升开发效率，我们可以考虑采用模块化设计，将 Connector 分解为多个独立的模块进行开发。

此外，我们还可以共同探索如何结合 Go 语言的生态系统和工具链，如使用 Go Modules 进行依赖管理、Go Testing 进行单元测试等，以确保代码的质量和可维护性。

如果您对这个合作意向感兴趣，欢迎进一步交流。我们可以讨论具体的合作细节、时间表和预期成果，共同推动这一项目的成功实施。期待您的回复！

祝好！

回到顶部