Python中如何与小伙伴一起开发一个高效的数据迁移工具？
我的目标是写一个尽量全面，易用和高性能的数据迁移工具，目前只是基本可以用的状态（代码就 1000 行）。对这个项目感兴趣，想要提高自己 python 功底，加深对数据库的理解的朋友快来呀～ https://github.com/toaco/carry
目前需要做的
- 并发，缓存，压缩, 数据库本身的 LOAD 和 EXPORT 功能
- 功能完善
- 测试
Python中如何与小伙伴一起开发一个高效的数据迁移工具？
29 回复
要和小伙伴一起高效开发Python数据迁移工具，建议用Git做版本控制，配合GitHub/GitLab。用pandas处理数据转换，SQLAlchemy处理数据库连接。关键是把迁移逻辑拆成模块，比如数据提取、转换、加载各一个模块，这样大家能并行开发。用argparse或click做个命令行接口，方便调用。写清楚文档和单元测试，用pytest。
简单说就是：模块化设计，用好版本控制和测试。
wow。这目录结构整齐划一的 reader, writer, reader, writer, reader, writer, reader, writer, reader, writer
https://github.com/alibaba/DataX
不多说了赶紧 star。
