etcd 在Golang Go语言中一次性插入大量数据导致超时
etcd 在Golang Go语言中一次性插入大量数据导致超时
数据量大概在一百万条，一开始是每次插入建立一个新连接，发现 put 操作超时，后面改成了 put 共用一个连接，在跑了两小时后仍然超时，想问下各位有没有比较好的办法做这个操作，还是说我应该想办法了解为什么超时，服务器间网络是没有问题的。
12 回复
100w ？什么数据这么多数据，感觉这个不应该用 etcd 来做
更多关于etcd 在Golang Go语言中一次性插入大量数据导致超时的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
「 etcd （读作 et-see-dee ）是一种开源的分布式统一键值存储，用于分布式系统或计算机集群的共享配置、服务发现和的调度协调」
一百多万条了，要不要试试别的吧
etcd 也没想到自己被迫吃这么多 k-v
讲真，盲猜是一直在一个节点进行快速写入+内部节点同步导致 cpu 爆掉问题。
建议搞 pool ，把集群所有节点都连上，均匀写入以及控制写入频率。
检查 etcd 版本, 3.4 以后有优化
另外对于一个分布式系统来说, 并发写事务性能不会太高, 官方的 benchmark 是 10 万 KEY,QPS 有 33K, leader only 和 all members 差别还是蛮大的.
针对etcd在Golang中一次性插入大量数据导致超时的问题，以下是一些专业的建议：
-
优化事务粒度：
- 重新审视业务场景，确定是否真正需要数据库事务来保障数据一致性。
- 考虑将事务范围缩小到必要范围内，只包含实际插入数据的操作。
-
数据分片：
- 将大批量的插入操作拆分为多个较小的事务，缩减单个分片的数据量。
-
优化数据插入代码：
- 提高插入效率，减少事务时间。
- 使用批量插入操作，可以一次插入多条记录，从而提高性能。
-
异步操作：
- 考虑使用异步操作，避免因等待I/O操作导致事务超时。
-
检查服务器性能：
- 检查etcd服务器的负载和资源情况，确保服务器有足够的性能处理大量的插入操作。
-
监控与调优：
- 定期监测etcd的性能，并根据需要进行调优和优化。
-
使用更高效的存储方案：
- 如果etcd不是唯一的存储选择，可以考虑使用更适合大规模数据插入的存储系统，如数据库或分布式存储解决方案。
综上所述，解决etcd在Golang中一次性插入大量数据导致超时的问题需要从多个方面入手，包括优化事务粒度、数据分片、优化数据插入代码、使用异步操作、检查服务器性能以及监控与调优。
