Golang Unicode文本分段处理：segment库使用指南

segment是一个用于处理Unicode文本分段的Go语言库，特别适合处理需要按字素簇(grapheme cluster)、单词或句子边界分割文本的场景。

安装segment库

go get github.com/blevesearch/segment

基本功能

1. 按字素簇分割

字素簇是用户感知的"字符"，可能由多个Unicode码点组成（如带变音符号的字母或emoji组合）。

package main

import (
	"fmt"
	"github.com/blevesearch/segment"
)

func main() {
	text := "नमस्ते 👋🏽" // 包含印地语和emoji组合
	
	seg := segment.NewWordSegmenterDirect([]byte(text))
	for seg.Segment() {
		fmt.Printf("字素簇: %s\n", seg.Bytes())
	}
	if err := seg.Err(); err != nil {
		fmt.Println("Error:", err)
	}
}

2. 按单词分割

func segmentWords() {
	text := "The quick brown fox jumps over the lazy dog. 你好，世界！"
	
	seg := segment.NewWordSegmenterDirect([]byte(text))
	for seg.Segment() {
		token := seg.Bytes()
		typ := seg.Type()
		fmt.Printf("类型: %v, 内容: %s\n", typ, token)
	}
}

Type()返回的类型包括：

• segment.Letter：字母
• segment.Number：数字
• segment.Punct：标点
• segment.Symbol：符号
• segment.Space：空白字符

3. 按句子分割

func segmentSentences() {
	text := "这是第一句话。这是第二句话！这是第三句话？"
	
	seg := segment.NewSentenceSegmenterDirect([]byte(text))
	for seg.Segment() {
		fmt.Printf("句子: %s\n", seg.Bytes())
	}
}

高级用法

自定义分割选项

func customSegmentation() {
	text := "Email: test@example.com, Phone: +1 (650) 123-4567"
	
	// 创建自定义分割器
	seg := segment.NewSegmenterDirect([]byte(text))
	
	// 配置分割选项
	seg.Init(
		segment.FlagWords,          // 分割单词
		segment.FlagEmail,          // 识别电子邮件
		segment.FlagPhoneNumber,    // 识别电话号码
		segment.FlagSkipLeadingSpace,
	)
	
	for seg.Segment() {
		token := seg.Bytes()
		typ := seg.Type()
		fmt.Printf("%v: %s\n", typ, token)
	}
}

处理大文本

对于大文本，可以使用流式处理：

func processLargeText() {
	largeText := "..." // 大文本内容
	
	// 创建缓冲读取器
	reader := bytes.NewReader([]byte(largeText))
	buf := make([]byte, 4096) // 4KB缓冲区
	
	seg := segment.NewWordSegmenter(reader)
	for {
		n, err := seg.Read(buf)
		if err != nil {
			if err == io.EOF {
				break
			}
			fmt.Println("Error:", err)
			break
		}
		fmt.Printf("Read %d bytes: %s\n", n, buf[:n])
	}
}

实际应用示例

文本分析统计

func textStatistics(text string) {
	var wordCount, charCount, sentenceCount int
	
	// 统计单词
	wordSeg := segment.NewWordSegmenterDirect([]byte(text))
	for wordSeg.Segment() {
		if wordSeg.Type() == segment.Letter {
			wordCount++
		}
	}
	
	// 统计字素簇
	charSeg := segment.NewWordSegmenterDirect([]byte(text))
	for charSeg.Segment() {
		charCount++
	}
	
	// 统计句子
	sentSeg := segment.NewSentenceSegmenterDirect([]byte(text))
	for sentSeg.Segment() {
		sentenceCount++
	}
	
	fmt.Printf("统计结果:\n单词数: %d\n字符数: %d\n句子数: %d\n", 
		wordCount, charCount, sentenceCount)
}

多语言文本处理

func multilingualProcessing() {
	texts := map[string]string{
		"English":   "Hello, world!",
		"Chinese":   "你好，世界！",
		"Japanese":  "こんにちは世界",
		"Hindi":     "नमस्ते दुनिया",
		"Arabic":    "مرحبا بالعالم",
		"Emoji":     "👋🌍✨",
	}
	
	for lang, text := range texts {
		fmt.Printf("\n语言: %s\n", lang)
		seg := segment.NewWordSegmenterDirect([]byte(text))
		for seg.Segment() {
			fmt.Printf("%s ", seg.Bytes())
		}
		fmt.Println()
	}
}

性能优化建议

1. 对于大量文本处理，重用Segmenter对象
2. 使用SegmenterDirect而不是Segmenter避免额外内存分配
3. 对大文本使用流式处理而非一次性加载

func optimizedProcessing(texts []string) {
	seg := &segment.Segmenter{} // 可重用的分割器
	
	for _, text := range texts {
		seg.SetText([]byte(text))
		for seg.Segment() {
			// 处理每个分段
			_ = seg.Bytes()
		}
	}
}

segment库为Go语言提供了强大的Unicode文本处理能力，特别适合需要国际化支持的应用程序。