Golang中字节数组与内存映射文件的比较

Golang中字节数组与内存映射文件的比较 我正在学习《使用Go构建分布式服务》这本书。

……说实话，对于一个没有真正做过系统编程的人来说，作者正在创建的日志有点难以理解。

话虽如此，我认为你不必读这本书也能理解我问题的要点，即使用字节数组与使用内存映射文件的不同用例是什么。

在这本书中，他在一个地方使用了由文件支持的字节数组缓冲区。我的理解是，刷新缓冲区会将内存中的内容写入到支持文件中。

在另一个地方，他使用这个内存映射文件包来为索引文件做类似的事情。

我知道从内存读写比磁盘I/O更快，但我的理解是，将缓冲区刷新到磁盘和将内存映射文件写入磁盘的目的是相同的吗？如果是这样，为什么选择一种策略而不是另一种？


更多关于Golang中字节数组与内存映射文件的比较的实战教程也可以访问 https://www.itying.com/category-94-b0.html

2 回复

内存映射将加载和保存到后备存储的责任委托给操作系统，这或许可以减少复杂缓存方案的代码并提高I/O性能。内存映射文件 - 维基百科

更多关于Golang中字节数组与内存映射文件的比较的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


在Go中，字节数组缓冲区与内存映射文件的核心区别在于内存管理和持久化机制。

字节数组缓冲区通常通过bufio.Writer实现，数据先写入内存缓冲区，满时或调用Flush()时触发系统调用写入磁盘。示例：

file, _ := os.Create("log.bin")
defer file.Close()

buf := bufio.NewWriter(file)
buf.Write([]byte("日志条目1\n"))
buf.Write([]byte("日志条目2\n"))
buf.Flush() // 显式刷盘

内存映射文件通过gommap直接将文件映射到进程地址空间，读写操作直接作用于内存页，由操作系统异步同步到磁盘：

import "github.com/tysonmote/gommap"

file, _ := os.OpenFile("index.bin", os.O_RDWR, 0644)
mmap, _ := gommap.Map(file.Fd(), gommap.PROT_READ|gommap.PROT_WRITE, gommap.MAP_SHARED)
defer mmap.UnsafeUnmap()

// 直接操作内存
copy(mmap[0:8], []byte{0x01, 0x02, 0x03})
mmap.Sync(gommap.MS_SYNC) // 强制同步到磁盘

关键差异：

  1. 持久化时机：缓冲区需显式刷盘；内存映射文件通过OS页管理自动持久化（也可手动Sync()）
  2. 内存开销：缓冲区全量驻留内存；内存映射文件按需分页加载
  3. 大文件处理：缓冲区需自行分块；内存映射可直接随机访问任意位置
  4. 并发安全：内存映射文件支持多进程共享；缓冲区仅进程内有效

典型用例：

  • 字节数组缓冲区：顺序写入的日志流、网络传输缓冲
  • 内存映射文件：数据库索引、大型只读资源配置、进程间共享内存

在分布式服务日志场景中，作者可能用缓冲区处理顺序追加的日志条目，用内存映射文件实现随机读写的索引文件。两者配合可平衡性能与持久化需求。

回到顶部