使用go-unidecode实现Unicode文本ASCII音译转换

go-unidecode是一个将Unicode文本转换为ASCII音译的Go语言库，它可以将包含非ASCII字符（如中文、俄文、希腊文等）的文本转换为近似发音的ASCII字符串。这在处理国际化文本、创建URL slug或需要纯ASCII字符的场景中非常有用。

安装go-unidecode

使用go get命令安装：

go get github.com/mozillazg/go-unidecode

基本用法

package main

import (
	"fmt"
	"github.com/mozillazg/go-unidecode"
)

func main() {
	// 基本转换示例
	fmt.Println(unidecode.Unidecode("你好，世界！")) // 输出: Ni Hao , Shi Jie !
	fmt.Println(unidecode.Unidecode("Привет, мир!")) // 输出: Privet, mir!
	fmt.Println(unidecode.Unidecode("こんにちは")) // 输出: konnichiha
	fmt.Println(unidecode.Unidecode("안녕하세요")) // 输出: annyeonghaseyo
	
	// 处理混合文本
	fmt.Println(unidecode.Unidecode("中文Chinese和English英文混合")) 
	// 输出: Zhong Wen Chinese He English Ying Wen Hun He
}

高级用法

1. 自定义替换规则

func customReplace(r rune) string {
	// 自定义某些字符的替换规则
	switch r {
	case '你':
		return "You"
	case '好':
		return "Good"
	default:
		return unidecode.Unidecode(string(r))
	}
}

func main() {
	text := "你好，世界！"
	
	// 使用默认转换
	fmt.Println(unidecode.Unidecode(text)) // Ni Hao , Shi Jie !
	
	// 使用自定义转换
	var result string
	for _, r := range text {
		result += customReplace(r)
	}
	fmt.Println(result) // YouGood, Shi Jie !
}

2. 创建URL Slug

package main

import (
	"fmt"
	"github.com/mozillazg/go-unidecode"
	"strings"
	"unicode"
)

func createSlug(s string) string {
	// 转换为ASCII音译
	s = unidecode.Unidecode(s)
	
	// 移除非字母数字字符
	var sb strings.Builder
	for _, r := range s {
		if unicode.IsLetter(r) || unicode.IsNumber(r) {
			sb.WriteRune(unicode.ToLower(r))
		} else if r == ' ' || r == '-' || r == '_' {
			sb.WriteRune('-')
		}
	}
	
	// 合并连续的连字符
	slug := sb.String()
	for strings.Contains(slug, "--") {
		slug = strings.ReplaceAll(slug, "--", "-")
	}
	
	// 去除首尾的连字符
	slug = strings.Trim(slug, "-")
	
	return slug
}

func main() {
	title := "Go语言编程指南 - 第2版"
	fmt.Println(createSlug(title)) // 输出: go-yu-yan-bian-cheng-zhi-nan-di-2-ban
}

3. 处理不同语言的文本

func main() {
	// 中文
	fmt.Println(unidecode.Unidecode("北京")) // Bei Jing
	
	// 日文
	fmt.Println(unidecode.Unidecode("東京")) // Dong Jing
	
	// 俄文
	fmt.Println(unidecode.Unidecode("Москва")) // Moskva
	
	// 希腊文
	fmt.Println(unidecode.Unidecode("Αθήνα")) // Athena
	
	// 阿拉伯文
	fmt.Println(unidecode.Unidecode("القاهرة")) // alqahira
	
	// 印地文
	fmt.Println(unidecode.Unidecode("नमस्ते")) // namaste
}

性能考虑

对于大量文本处理，可以考虑以下优化：

func processLargeText(texts []string) []string {
	results := make([]string, len(texts))
	for i, text := range texts {
		results[i] = unidecode.Unidecode(text)
	}
	return results
}

// 或者使用并行处理
func processLargeTextParallel(texts []string) []string {
	results := make([]string, len(texts))
	var wg sync.WaitGroup
	wg.Add(len(texts))
	
	for i, text := range texts {
		go func(idx int, t string) {
			defer wg.Done()
			results[idx] = unidecode.Unidecode(t)
		}(i, text)
	}
	
	wg.Wait()
	return results
}

注意事项

1. 音译是近似转换，可能不完全准确
2. 某些字符可能没有对应的音译，会返回空字符串
3. 转换结果可能因库版本不同而有差异
4. 对于需要精确转换的场景，建议使用专门的翻译服务

go-unidecode是一个简单实用的库，特别适合需要将国际化文本转换为ASCII字符的场景，如创建URL slug、文件名处理或搜索引擎优化等。