Golang Go语言中优化连接池 以 database/sql 为例

发布于 1周前 作者 h691938207 来自 Go语言

[GoLang] 优化连接池: 以 database/sql 为例

Link: https://github.com/j2gg0s/j2gg0s/blob/main/20230130_go_%E4%BC%98%E5%8C%96%E8%BF%9E%E6%8E%A5%E6%B1%A0.md

之前就看到有些应用在频繁的创建 /关闭数据库链接, 这样的行为大概率不是正确的. 过多的链接创建

MySQL 的链接是昂贵, 在上图也可以看到 create 耗时远超 query 和 exec, 所以大多数的实现都会选择通过链接池来复用已创建的链接.

Go 的 database/sql 也不例外, 你可以通过以下几个参数来调整具体的行为:

  • MaxIdleConns, 最大空闲链接数量, 默认为 2. 当程序尝试将使用完的链接放回连接池时, 如果当前的空闲链接数量大于等于 MaxIdleConns, 则会直接关闭并链接释放.

  • MaxOpneConns, 同时存在的链接数量的最大值, 默认不限制. 这个参数可以避免系统因为突发的, 瞬间的流量而打开大量的数据库链接, 起到保护数据库的作用.

  • ConnMaxLifetime, 链接的最大存活时间, 默认不限制.

  • ConnMaxIdleTime, 链接的最大空闲时间, 默认不限制.

当发现应用持续的大量创建链接, 我们首先需要判断为什么. 通过 database/sql 自带的统计信息可以直观的发现链接主要是因为 idle 而被关闭的. 链接关闭原因

翻阅代码, 业务方也没有额外设置 ConnMaxIdleTime. 那么显然是因为 MaxIdleConns 设置的过小而导致链接被新建并使用后, 因为无法被放入连接池而直接关闭, 进而无法被复用.

此时, 我们可以通过调整 MaxIdleConns 提高链接的复用. 当我们把 MaxIdleConns 从默认的 2 调整到 8 之后, 可以发现链接的复用变得非常好. 链接复用率提高

同时, 可以观察到因为避免大量耗时的链接创建操作, 应用对外的响应时间也有了比较明显的降低. 响应时间降低

虽然对于稳定的应用应该是 p99 收益最明显, 但是这个应用存在其他的耗时操作并主导了 p99.


Golang Go语言中优化连接池 以 database/sql 为例

更多关于Golang Go语言中优化连接池 以 database/sql 为例的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

4 回复

棒!

更多关于Golang Go语言中优化连接池 以 database/sql 为例的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


这个监控面板是怎么来的呀

#2 看起来是 grafana, golang 有相关的库.

在Go语言中,使用database/sql包来管理数据库连接池时,优化连接池的性能是提升应用整体性能的关键之一。以下是一些优化建议:

  1. 设置合理的最大连接数:通过SetMaxOpenConns方法设置数据库连接池的最大连接数,避免连接数过多导致资源耗尽,也避免连接数过少导致频繁建立连接的开销。

  2. 设置连接空闲时间:通过SetConnMaxLifetime方法设置连接的最大空闲时间,避免连接因长时间未使用而变为无效连接。同时,通过SetMaxIdleConns方法设置连接池中的最大空闲连接数,以平衡资源占用和响应速度。

  3. 使用连接池复用:确保每次数据库操作都通过连接池获取连接,而不是直接创建新连接。这可以通过使用sql.DB对象的QueryExec等方法来实现。

  4. 优化SQL查询:高效的SQL查询可以减少连接的使用时间和资源占用。对查询进行索引优化、避免全表扫描等,可以显著提升数据库操作的性能。

  5. 监控和调试:使用Go语言的调试工具和性能分析工具,如pprof,来监控数据库连接池的使用情况和性能瓶颈。根据监控结果,调整连接池的配置和SQL查询。

综上所述,优化database/sql连接池需要从多个方面入手,包括合理配置连接池参数、优化SQL查询、以及持续监控和调试。这些措施将有助于提升应用的数据库操作性能,从而提高整体系统的稳定性和响应速度。

回到顶部