使用 textcat 进行基于 n-gram 的 UTF-8 文本分类

textcat 是一个 Go 语言实现的基于 n-gram 的文本分类库，主要用于语言检测和文本分类任务。它通过分析文本中的字符序列（n-gram）来识别文本的语言或类别。

安装 textcat

go get github.com/pebbe/textcat

基本使用方法

1. 语言检测

package main

import (
	"fmt"
	"github.com/pebbe/textcat"
)

func main() {
	// 创建分类器实例
	classifier := textcat.NewClassifier()
	
	// 加载默认的语言模型
	err := classifier.AddDefaultModels()
	if err != nil {
		panic(err)
	}
	
	// 要分类的文本
	text := "This is an example text to demonstrate language detection."
	
	// 进行分类
	matches := classifier.Classify(text)
	
	// 获取最佳匹配
	bestMatch := matches[0]
	fmt.Printf("Detected language: %s (confidence: %.2f)\n", 
		bestMatch.Name, bestMatch.Score)
	
	// 输出所有可能的匹配
	for _, match := range matches {
		fmt.Printf("%s: %.2f\n", match.Name, match.Score)
	}
}

2. 自定义分类模型

textcat 也支持训练自定义的分类模型：

package main

import (
	"fmt"
	"github.com/pebbe/textcat"
	"strings"
)

func main() {
	classifier := textcat.NewClassifier()
	
	// 训练英语模型
	englishText := strings.Repeat("This is some sample English text. ", 100)
	classifier.Add("english", englishText)
	
	// 训练法语模型
	frenchText := strings.Repeat("Ceci est un exemple de texte français. ", 100)
	classifier.Add("french", frenchText)
	
	// 测试分类
	testText := "This is a test to see if the classifier works."
	matches := classifier.Classify(testText)
	
	fmt.Printf("Best match: %s (%.2f)\n", matches[0].Name, matches[0].Score)
}

高级功能

1. 调整 n-gram 大小

// 创建分类器时指定 n-gram 大小 (默认为 3)
classifier := textcat.NewClassifierWithOptions(textcat.Options{
	NGramSize: 4,
})

2. 保存和加载模型

// 保存模型到文件
err := classifier.Save("models.gz")
if err != nil {
	panic(err)
}

// 从文件加载模型
newClassifier := textcat.NewClassifier()
err = newClassifier.Load("models.gz")
if err != nil {
	panic(err)
}

3. 处理 UTF-8 文本

textcat 原生支持 UTF-8 文本，可以直接处理多语言文本：

text := "这是一段中文文本。This is English text. Это русский текст."
matches := classifier.Classify(text)

性能优化建议

1. 对于大量文本分类，可以预加载所有需要的模型
2. 调整 n-gram 大小可以影响准确性和性能（通常 3-5 是好的选择）
3. 对于已知的语言子集，可以只加载相关模型提高速度

完整示例：构建多语言检测服务

package main

import (
	"fmt"
	"github.com/pebbe/textcat"
	"net/http"
)

var classifier *textcat.Classifier

func init() {
	classifier = textcat.NewClassifier()
	err := classifier.AddDefaultModels()
	if err != nil {
		panic(err)
	}
}

func detectLanguage(w http.ResponseWriter, r *http.Request) {
	if r.Method != "POST" {
		http.Error(w, "Method not allowed", http.StatusMethodNotAllowed)
		return
	}
	
	text := r.FormValue("text")
	if text == "" {
		http.Error(w, "No text provided", http.StatusBadRequest)
		return
	}
	
	matches := classifier.Classify(text)
	fmt.Fprintf(w, "Most likely language: %s (confidence: %.2f)\n", 
		matches[0].Name, matches[0].Score)
}

func main() {
	http.HandleFunc("/detect", detectLanguage)
	fmt.Println("Server started on :8080")
	http.ListenAndServe(":8080", nil)
}

textcat 是一个轻量级但功能强大的文本分类库，特别适合语言检测任务。它的优势在于简单易用、内存占用低，并且对 UTF-8 文本有很好的支持。对于更复杂的文本分类任务，你可能需要考虑使用机器学习库，但对于语言检测和简单的基于内容的分类，textcat 是一个很好的选择。