Golang Go语言中 mssql 大数据插入很慢问题

发布于 1周前 作者 ionicwang 来自 Go语言

Golang Go语言中 mssql 大数据插入很慢问题

go 语言，用的 gorm 表格内没有建立任何索引，共计 55 个字段。
插入之前把多条数据组成一条插入语句insert into values()，最多 2100 个参数。
用事务和批量插入插入数据，每个事务插入 1w 条数据提交一次。
我们通常一批数据 30w，下来要 30 分钟，感觉很慢，且插入期间该表格无法进行其他操作。
想问问各位，这是 sqlserver 的性能问题，还是我操作问题，是否有更优的办法？


更多关于Golang Go语言中 mssql 大数据插入很慢问题的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

Harmonyos Next教程
13 回复

github.com/denisenkom/go-mssqldb 库？

mssqlConn.CreateBulk 和 mssql.CopyIn

印象大概每秒几 W 写入速度

更多关于Golang Go语言中 mssql 大数据插入很慢问题的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


都用 MSSQL 了，配套的企业管理器了解一下，查询分析器了解一下，自己看执行计划不就好了。

再说还有 SQL Profiler，别开源产品用太习惯了，不去用这些配套工具啊。

第一次用 mssql,谢谢老哥提示，我去查查资料

收到，谢谢老哥，回头去试试

2100 个参数. 我很好奇这是什么表要这么多参数的?

用 insert 语句插入是超级慢的，一般我直接用 excel 或 csv 导入

sqlbulk 了解一下？ 30 万数据 10 几 20 秒即可

批量插入用你那个方法 数据多了，肯定不好

sqlbulk 适合大批量插入

直接导入啊

怎么会有这么多参数.

应该是 mssql 的问题 之前用 python 也遇到相同的情况 mssql 好像有专门的 buck insert 的工具可以试试哪个

在Go语言中处理大数据量插入到Microsoft SQL Server（mssql）时，性能问题通常与多个因素有关。以下是一些优化建议，可以帮助你提升插入速度：

  1. 批量插入：单个插入操作开销较大，建议采用批量插入。Go语言的database/sql包支持通过Exec方法传入参数切片进行批量操作，或者使用事务（Transaction）来包裹多个插入语句。

  2. 调整SQL Server配置：确保SQL Server的配置适合大数据处理，如增加最大内存、调整并发度设置、启用批量加载模式等。

  3. 使用表值参数：对于非常大的数据集，可以考虑使用表值参数（Table-Valued Parameters, TVPs），这是一种高效传输大量数据到存储过程的方法。

  4. 索引和约束：在大数据插入期间，如果可能，暂时禁用非必要的索引和约束，然后在数据加载完成后重新启用和重建它们。

  5. 网络延迟：如果Go应用与SQL Server部署在不同网络环境中，网络延迟也可能成为瓶颈。检查网络连接，或使用更快的网络连接。

  6. 日志记录级别：SQL Server的日志记录级别也会影响性能。在数据加载期间，可以考虑将数据库恢复模式设置为简单，以减少事务日志的写入负担。

通过上述方法，通常可以显著提高大数据插入到mssql的速度。如果问题依然存在，建议进行性能分析，找出具体的瓶颈所在，然后针对性地进行优化。

回到顶部