Golang中Unicode/utf8模块panic问题排查

Golang中Unicode/utf8模块panic问题排查 我遇到了与此处描述的相同问题：unicode/utf8: invalid memory address or nil pointer dereference · Issue #50346 · golang/go · GitHub

原始讨论串已被锁定。第一条评论提到了这个论坛，所以我也想在这里尝试一下。ValidString 的代码行号后来有所变动，但我认为这是同一段代码，因为我的 panic 就发生在这里。当字符串作为值传递时，竞态条件怎么可能影响到它呢？可能发生了哪种数据损坏，导致这段代码 panic？根据我的理解，if len(s) >= 8 应该能保护此分支中的所有数组引用。


更多关于Golang中Unicode/utf8模块panic问题排查的实战教程也可以访问 https://www.itying.com/category-94-b0.html

1 回复

更多关于Golang中Unicode/utf8模块panic问题排查的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


这是一个典型的竞态条件导致的空指针解引用问题。问题出现在ValidString函数中，当字符串底层字节数组在并发访问时被修改导致的。

关键点在于：字符串在Go中是不可变的，但字符串的底层字节数组可能被多个字符串共享。当原始字节数组被并发修改时，即使字符串值本身是值传递，底层数据也可能损坏。

以下是问题复现的示例代码：

package main

import (
	"fmt"
	"unicode/utf8"
	"sync"
)

func main() {
	var wg sync.WaitGroup
	original := []byte("Hello, 世界")
	
	for i := 0; i < 1000; i++ {
		wg.Add(1)
		go func() {
			defer wg.Done()
			// 并发修改原始字节数组
			for j := 0; j < len(original); j++ {
				original[j] = byte(j % 256)
			}
		}()
		
		wg.Add(1)
		go func() {
			defer wg.Done()
			// 从被修改的字节数组创建字符串并验证
			s := string(original)
			// 这里可能触发panic
			utf8.ValidString(s)
		}()
	}
	
	wg.Wait()
	fmt.Println("Done")
}

问题发生的具体机制：

  1. ValidString函数在检查长字符串时（len(s) >= 8），会直接访问字符串的底层字节数组指针
  2. 当原始字节数组被并发修改时，内存布局可能被破坏
  3. 即使有len(s) >= 8的检查，竞态条件仍可能导致：
    • 长度信息损坏，导致越界访问
    • 指针值损坏，导致访问无效内存地址
    • 内存重新分配，导致旧指针失效

utf8.go第535行附近的代码：

func ValidString(s string) bool {
	n := len(s)
	for i := 0; i < n; {
		si := s[i]
		if si < RuneSelf {
			i++
			continue
		}
		
		// 这里假设s[i:]至少有4个字节
		// 但在竞态条件下，s的底层数组可能已被修改
		x := first[si]
		if x == xx {
			return false
		}
		size := int(x & 7)
		if i+size > n {
			return false
		}
		// 可能在这里访问到无效内存
		re := &replacement
		// ...
	}
	return true
}

数据损坏的可能场景：

  1. 切片重新分配：原始字节数组被追加，导致重新分配内存
  2. 长度字段损坏：并发写入破坏了切片头部的长度信息
  3. 指针字段损坏：并发写入破坏了切片头部的指针信息

解决方案是确保对底层字节数组的访问是同步的，或者使用不可变的数据副本：

// 安全的使用方式
func safeValidString(data []byte) bool {
	// 创建数据的副本
	dataCopy := make([]byte, len(data))
	copy(dataCopy, data)
	return utf8.ValidString(string(dataCopy))
}

// 或者使用互斥锁保护
var mu sync.RWMutex

func concurrentSafeValidString(data []byte) bool {
	mu.RLock()
	s := string(data)
	mu.RUnlock()
	return utf8.ValidString(s)
}

这个问题在Go 1.22中仍然存在，因为它本质上是并发访问共享可变数据的问题，而不是utf8包本身的bug。

回到顶部