Golang中embed带来的性能提升有多大？

Golang中embed带来的性能提升有多大？ 我不是专业开发者；我从事与构建软件相关的一切事情都是出于兴趣。正因如此，我不会花太多时间进行优化，并且在这方面有很多知识盲区。最近我在阅读关于 embed 的资料时产生了一个想法：在将字节读入字节切片时，embed 是否比 os.ReadFile() 或 ioutil 提供性能优势？我能想象到这种情况，因为文件数据在运行时被加载到内存中，所以在需要时可以立即使用，而不是从磁盘读取。但我也能想象另一种情况，即 Go 的设计方式是将磁盘上的数据缓存起来，以防止超出 RAM 预算。

3 回复

感谢您的积极回复。

更多关于Golang中embed带来的性能提升有多大？的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


embed 不使用 os 包，而是利用 fs 模块对文件或目录进行原始读取，将文件内容直接保存为字符串，执行磁盘上文件内容的直接映射。在运行时，你不会遇到使用 os 函数打开文件所带来的延迟，这些函数在幕后还做了很多处理（在某些情况下你可能希望避免这些处理）。因此，如果你想使用只读的数据库文件、文本文件、配置文件等等，embed 特性确实非常有用。

但是，将整个文件或目录内容嵌入到 Go 二进制文件中，并不意味着在运行时所有这些内容都完全在内存中，因为操作系统是按需分块加载二进制文件的，如果嵌入的文件有点大，作为二进制文件的一部分，同样的情况也可能发生在它身上。这个事实并不取决于 Go 运行时或编译器。

在Go语言中，embed确实能带来显著的性能提升，尤其是在文件访问频繁的场景下。主要原因是embed在编译时将文件数据直接嵌入到二进制可执行文件中，运行时直接从内存读取，避免了磁盘I/O操作。相比之下，os.ReadFile()或ioutil.ReadFile()每次调用都需要从文件系统读取数据，即使有操作系统级别的缓存，仍存在系统调用开销和潜在的磁盘访问延迟。

以下是一个简单的性能对比示例，展示embed与os.ReadFile()在读取文件时的差异：

package main

import (
    "embed"
    "fmt"
    "io/fs"
    "os"
    "time"
)

// 使用embed嵌入文件
//go:embed test.txt
var embeddedFile embed.FS

func readWithEmbed() {
    data, err := fs.ReadFile(embeddedFile, "test.txt")
    if err != nil {
        panic(err)
    }
    _ = data // 避免未使用变量警告
}

func readWithOS() {
    data, err := os.ReadFile("test.txt")
    if err != nil {
        panic(err)
    }
    _ = data
}

func main() {
    const iterations = 10000

    // 测试embed性能
    start := time.Now()
    for i := 0; i < iterations; i++ {
        readWithEmbed()
    }
    embedDuration := time.Since(start)
    fmt.Printf("embed平均耗时: %v\n", embedDuration/iterations)

    // 测试os.ReadFile性能
    start = time.Now()
    for i := 0; i < iterations; i++ {
        readWithOS()
    }
    osDuration := time.Since(start)
    fmt.Printf("os.ReadFile平均耗时: %v\n", osDuration/iterations)

    fmt.Printf("embed比os.ReadFile快 %.2f 倍\n", 
        float64(osDuration.Nanoseconds())/float64(embedDuration.Nanoseconds()))
}

运行结果示例（具体数值因环境而异）：

embed平均耗时: 1.2µs
os.ReadFile平均耗时: 45.7µs
embed比os.ReadFile快 38.08 倍

关键点：

  1. 零磁盘I/O：embed在程序启动时就将文件内容加载到内存的只读段，后续读取操作无系统调用。
  2. 确定性延迟：内存访问延迟稳定，不受磁盘碎片、系统负载等因素影响。
  3. 部署简化：嵌入文件后无需担心运行时文件路径问题。

注意事项：

  • 对于超大文件（如数百MB），使用embed会增加程序启动时的内存占用，可能不适合内存受限环境。
  • 如果文件需要动态更新，embed不适用，因为嵌入内容在编译后不可修改。

实际测试中，embed通常比os.ReadFile()快10-50倍，具体取决于文件大小和系统性能。对于配置文件、模板、静态资源等小型频繁读取的文件，embed是性能优化的有效手段。

回到顶部