Golang Go语言项目程序优化方案，提高系统并发性能
这是一个开源的 chatgpt 接口转发系统，使用 Go 程序编写。
https://github.com/songquanpeng/one-api
在实际使用过程中，高并发已经达到极限，但是系统的资源利用率非常低。我需要一个工程师协助我，找出并发限制的瓶颈，加以优化。
背景参考：
centos 4h8g oneapi
实测并发量 2000 rpm 附近
提升系统性能可以有效增加并发量，另一个系统 6h8g 并发量可以达到 5000 rpm 。
但是高并发的时候，cpu 资源利用率并不高，不清楚限制的因素到底是什么。
-
大家的时间都很宝贵，我会为此付费。评论区留下你的联系方式
也欢迎各位佬在评论区提提建议！！
Golang Go语言项目程序优化方案，提高系统并发性能
更多关于Golang Go语言项目程序优化方案，提高系统并发性能的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
有没有可能是 gpt 到达限制了
试试其他平台的接口然后测下并发?
更多关于Golang Go语言项目程序优化方案，提高系统并发性能的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
估计是 上游渠道较慢 导致的利用率低，这几天 OpenAI 确实经常 429 。建议你，后端搭建多个 oneapi 实例 分别接入不同的 OpenAI 账号，最好是分布在不同的服务器上，前端再用一个 oneapi 来做负载均衡。
绝大部分项目最快遇到瓶颈的位置都是 IO （一般是上行带宽/DB ），其次是某个/些对象的锁竞争激烈，最后是第三方 API 频率限制，最最后是各种原因导致的 CPU/内存资源不足。
一种简单的定位方式是在对应 API 内可能耗时的调用位置前后添加 log 打印时间，观察耗时。
感谢回复，我调整了测试方法。以下是最新的情况：
1.1 ）部署环境：Centos7 Mysql8 nodev16.16.0 go1.20.2
1.2 ）测试方法：
Windows Python3.8.10 locust 1000 用户并发，测试结果稳定在 300qps 附近（单个 locust 终端）
2 ） 2c4g 4c8g 6c16g ，测出来的并发量都是 300 附近。内存，磁盘读写，带宽压力并不大
3 ）我推测的原因有两个，要么在 cpu ，要么在数据库。通过提高数据库的最大连接数，并发线程有一点提高。
4 ）当用户端发起超多请求时候，数据库提前打开连接等待，然后系统就超出 mysql 最大连接数，并发降低下来。这是我的推测。
如果是这样，那一定有一种方案，是把这些任务都放在内存中处理完了，最后再批量插入数据库中。
5 ）我看到有一些中转系统就是基于内存处理的，欢迎大家指正和指路
#36
我做了个简单推理，可能需要你实际测试一下。
既然加 cpu 和内存不影响 rps 说明大概率瓶颈应该是在 IO 了。我大致看了一下处理流程，涉及到 IO 的操作就是日志相关的。
https://github.com/songquanpeng/one-api/blob/366b82128f89a328f096da6951cbafebb6b0060f/controller/relay-text.go#L410
这段代码主要功能是在请求结束后结算用量，然后记录。记录的内容本地文件有一份，数据库有一份。本地那一份肯定比数据库快，所以不考虑了。
数据库 IO 涉及三个操作：
https://imgur.com/a/OAPZXsl
如果是默认配置（ common.LogConsumeEnabled=true ），RecordConsumeLog 会产生一次插入操作；
默认 BATCH_UPDATE_ENABLED=false ，那么 UpdateUserUsedQuotaAndRequestCount 和 UpdateChannelUsedQuota 各自都会产生一次查找更新操作。
等于说每个请求都伴随三次数据库写操作。默认 SQL_MAX_OPEN_CONNS = 1000 ，理论并发在 333 左右，和实测比较接近。
当然前提是这三个数据库操作能够在 1s 之内完成（大概率是的）。这个事情不太容易确定，因为 locust 记录的是完成请求的总时间，并不知道中继请求和数据库操作的时间占比。
如果做个粗略估计的话，观察第响应时间的中位数，在测试刚刚开始的时候是 2s ，之后略低于 3s 。猜测当数据库 IO 达到瓶颈的时候，平均要多花接近 1s 等待。
要验证这个猜想，简单的方式是调整 BATCH_UPDATE_ENABLED 启用批量更新，单请求的数据库写入会降至 1 次。或者再提高 SQL_MAX_OPEN_CONNS 的数值。同时可以查看本地日志和 sql 服务器的日志，辅助确认 sql 服务器不是瓶颈。
假如上面的方法无效，那就要考虑 pprof 之类的方式来定位瓶颈了。
可以试试我的方案，我从 8 9 月就开始处理这个问题了，经过几轮优化，现在 2h2g 都能有很高 QPS ，也帮过好多个人做了优化，看下优化效果： https://www.bilibili.com/video/BV1sj411W71m/
针对Golang Go语言项目程序优化方案，以提高系统并发性能，以下是一些专业建议：
-
内存管理优化：
- 使用对象池和内存复用技术，减少内存分配和垃圾回收的开销。
- 优先使用原生类型和值类型，它们在内存分配和性能上通常优于引用类型。
-
并发性能优化：
- 调整GOMAXPROCS的值，以匹配系统的CPU核心数，从而优化goroutine的并发执行。
- 建立协程池，减少创建和销毁协程的开销，提高协程的复用率。
-
IO性能优化：
- 使用缓存技术，如bufio包提供的缓存机制，减少频繁的IO操作。
- 对于网络IO，考虑使用连接池来复用TCP连接，减少连接建立和断开的开销。
-
数据库查询优化：
- 优化数据库查询语句，使用索引、避免不必要的连接和采用预编译语句来提高查询效率。
- 使用数据库连接池来复用数据库连接。
-
性能分析工具：
- 利用pprof、trace和expvar等性能分析工具，识别和优化性能瓶颈。
综上所述，通过内存管理、并发性能、IO性能、数据库查询以及性能分析工具等多方面的优化，可以显著提高Golang项目的系统并发性能。在实施优化方案时，建议结合具体项目的实际情况进行针对性的调整和优化。
