Golang内存未释放问题排查与解决方案

Golang内存未释放问题排查与解决方案 为什么在退出函数后，内存没有被释放？ 备注：内存消耗情况通过监控系统查看。

package main

import (
	"fmt"
	"bufio"
	"os"
	"io/ioutil"
	"runtime"
	"runtime/debug"
)

func input(promt string)  {
	reader := bufio.NewReader(os.Stdin)
	fmt.Print(promt)
	reader.ReadString('\n')
}

func loadData()  {
	b, _ := ioutil.ReadFile("/Users/user/Golang/temp/src/file")
	fmt.Println(b[:10])
	input("Big file read")
	b = nil


}

func main()  {
	for 1 == 1 {
		debug.FreeOSMemory() // trying to clear the memory
		runtime.GC() // trying to clear the memory
		input("Call loadData")
		loadData()
	}
}

更多关于Golang内存未释放问题排查与解决方案的实战教程也可以访问 https://www.itying.com/category-94-b0.html

5 回复

感谢您的回答。这段代码仅用于测试内存释放过程而编写。

更多关于Golang内存未释放问题排查与解决方案的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


顺便说一下，你可以直接使用 for {}，不需要写 1 == 1。

请注意，如果您出于某些原因想要释放内存，您需要先让Go运行时进行垃圾回收并将内存释放给操作系统，然后再由操作系统释放内存。反过来操作效果不会那么好。

Go 运行时只能尝试回收内存。最终由操作系统决定何时从进程中取走已释放的内存。

顺便说一句，希望这段代码仅用于学习或研究。如果你认为在生产环境中需要 FreeOSMemory，那么背后肯定存在需要解决的更深层次问题。

在Golang中，即使显式调用runtime.GC()和debug.FreeOSMemory()，内存可能不会立即释放回操作系统，这通常是正常现象。Go的垃圾回收器会保留已分配的内存以便后续重用，减少频繁向操作系统申请内存的开销。以下是针对代码的分析和可能的优化方案：

问题分析

  1. 文件读取方式：使用ioutil.ReadFile会一次性将整个文件内容加载到内存的字节切片中，对于大文件可能导致内存使用峰值。
  2. 内存保留策略：Go运行时可能不会立即将空闲内存返还给操作系统，即使调用了GC和FreeOSMemory。这取决于内存分配模式和系统策略。

解决方案

1. 使用流式读取处理大文件

避免一次性加载整个文件到内存，改用bufio.Scanner或分块读取。

示例代码：

package main

import (
	"bufio"
	"fmt"
	"os"
	"runtime/debug"
)

func input(prompt string) {
	reader := bufio.NewReader(os.Stdin)
	fmt.Print(prompt)
	reader.ReadString('\n')
}

func loadDataStream() {
	file, err := os.Open("/Users/user/Golang/temp/src/file")
	if err != nil {
		fmt.Println("Error opening file:", err)
		return
	}
	defer file.Close()

	scanner := bufio.NewScanner(file)
	buffer := make([]byte, 0, 64*1024) // 64KB buffer
	scanner.Buffer(buffer, 10*1024*1024) // 最大10MB

	for scanner.Scan() {
		// 处理每一行，避免全文件加载
		_ = scanner.Bytes()
	}

	if err := scanner.Err(); err != nil {
		fmt.Println("Error reading file:", err)
	}

	input("Big file read with streaming")
}

func main() {
	for {
		debug.FreeOSMemory()
		runtime.GC()
		input("Call loadData")
		loadDataStream()
	}
}

2. 减少全局内存分配

确保在函数退出后，局部变量无法被引用，以便GC回收。

3. 监控内存使用

使用runtime.ReadMemStats跟踪内存分配情况：

import "runtime"

func printMemStats() {
	var m runtime.MemStats
	runtime.ReadMemStats(&m)
	fmt.Printf("Alloc = %v MiB", m.Alloc/1024/1024)
	fmt.Printf("\tTotalAlloc = %v MiB", m.TotalAlloc/1024/1024)
	fmt.Printf("\tSys = %v MiB", m.Sys/1024/1024)
	fmt.Printf("\tNumGC = %v\n", m.NumGC)
}

在loadData函数后调用printMemStats()观察内存变化。

总结

Go的内存管理策略可能导致内存不会立即释放，但通过优化代码（如流式读取大文件）和监控内存状态，可以更有效地控制内存使用。如果问题持续，检查是否有其他全局变量或goroutine持有数据引用。

回到顶部