gounidecode: Golang Unicode文本转码与音译处理库

gounidecode是一个Golang实现的Unicode音译库，它能够将Unicode字符(如中文、日文、俄文等)转换为ASCII近似字符。这个库移植自Python的Unidecode库，非常适用于需要处理多语言文本并将其转换为ASCII形式的场景。

安装

go get github.com/fiam/gounidecode

基本用法

简单转换示例

package main

import (
	"fmt"
	"github.com/fiam/gounidecode/unidecode"
)

func main() {
	// 中文转音译
	fmt.Println(unidecode.Unidecode("你好，世界")) 
	// 输出: Ni Hao , Shi Jie

	// 俄文转音译
	fmt.Println(unidecode.Unidecode("Привет, мир")) 
	// 输出: Privet, mir

	// 日文转音译
	fmt.Println(unidecode.Unidecode("こんにちは世界")) 
	// 输出: konnichihaShi Jie
}

处理文件名示例

package main

import (
	"fmt"
	"github.com/fiam/gounidecode/unidecode"
	"strings"
)

func sanitizeFilename(filename string) string {
	// 转换为ASCII近似字符
	ascii := unidecode.Unidecode(filename)
	
	// 替换空格为下划线
	ascii = strings.ReplaceAll(ascii, " ", "_")
	
	// 移除特殊字符
	var result strings.Builder
	for _, r := range ascii {
		if (r >= 'a' && r <= 'z') || (r >= 'A' && r <= 'Z') || 
		   (r >= '0' && r <= '9') || r == '_' || r == '-' || r == '.' {
			result.WriteRune(r)
		}
	}
	return result.String()
}

func main() {
	filename := "文档 报告 2023.pdf"
	fmt.Println(sanitizeFilename(filename)) 
	// 输出: Wen_Dang_Bao_Gao_2023.pdf
}

处理URL slug示例

package main

import (
	"fmt"
	"github.com/fiam/gounidecode/unidecode"
	"strings"
	"unicode"
)

func createSlug(s string) string {
	// 转换为ASCII近似字符
	s = unidecode.Unidecode(s)
	
	// 转换为小写
	s = strings.ToLower(s)
	
	// 替换空格为连字符
	s = strings.ReplaceAll(s, " ", "-")
	
	// 移除无效字符
	var result strings.Builder
	for _, r := range s {
		if unicode.IsLetter(r) || unicode.IsNumber(r) || r == '-' {
			result.WriteRune(r)
		}
	}
	return result.String()
}

func main() {
	title := "Golang中的Unicode处理"
	fmt.Println(createSlug(title)) 
	// 输出: golangzhong-de-unicodechu-li
}

高级用法

自定义替换规则

package main

import (
	"fmt"
	"github.com/fiam/gounidecode/unidecode"
)

func customTransliterate(s string) string {
	// 先使用gounidecode转换
	result := unidecode.Unidecode(s)
	
	// 添加自定义替换规则
	replacements := map[string]string{
		"Ni Hao": "Hello",
		"Shi Jie": "World",
	}
	
	for k, v := range replacements {
		result = strings.ReplaceAll(result, k, v)
	}
	
	return result
}

func main() {
	text := "你好，世界"
	fmt.Println(customTransliterate(text)) 
	// 输出: Hello, World
}

处理大量文本

package main

import (
	"fmt"
	"github.com/fiam/gounidecode/unidecode"
	"strings"
	"time"
)

func processLargeText(text string) string {
	start := time.Now()
	
	// 分割文本为行处理
	lines := strings.Split(text, "\n")
	var result strings.Builder
	
	for _, line := range lines {
		transliterated := unidecode.Unidecode(line)
		result.WriteString(transliterated)
		result.WriteString("\n")
	}
	
	fmt.Printf("处理完成，耗时: %v\n", time.Since(start))
	return result.String()
}

func main() {
	largeText := `这是第一行
这是第二行包含中文
Третья строка на русском
第四行`
	
	fmt.Println(processLargeText(largeText))
}

注意事项

1. gounidecode是一个音译库，不是翻译库，它只是将字符转换为近似的ASCII表示
2. 转换结果可能不完全准确，特别是对于表意文字(如中文)
3. 对于某些语言(如中文)，转换结果可能看起来像拼音，但并不完全符合拼音规则
4. 性能考虑：对于大量文本处理，建议分批处理

gounidecode是一个简单实用的工具，特别适合需要将多语言文本转换为ASCII形式的场景，如生成URL slug、文件名处理、搜索引擎优化等。