使用whatlanggo进行自然语言检测

whatlanggo是一个用Go编写的轻量级自然语言检测库，支持84种语言的识别。它基于n-gram算法和统计方法，具有快速、准确的特点。

安装

go get github.com/abadojack/whatlanggo

基本用法

1. 简单语言检测

package main

import (
	"fmt"
	"github.com/abadojack/whatlanggo"
)

func main() {
	text := "这是一段中文文本"
	info := whatlanggo.Detect(text)
	
	fmt.Printf("检测结果:\n")
	fmt.Printf("语言: %s\n", info.Lang.String())
	fmt.Printf("脚本: %s\n", info.Script.String())
	fmt.Printf("置信度: %.2f\n", info.Confidence)
	fmt.Printf("是否可靠: %v\n", info.IsReliable())
}

2. 带选项的检测

func detectWithOptions() {
	text := "This is a sample text in English with some 中文 mixed in."
	
	// 限制检测的语言范围
	options := whatlanggo.Options{
		Whitelist: map[whatlanggo.Lang]bool{
			whatlanggo.Eng: true,
			whatlanggo.Cmn: true,
		},
	}
	
	info := whatlanggo.DetectWithOptions(text, options)
	fmt.Printf("混合文本检测结果: %s (%.2f)\n", info.Lang.String(), info.Confidence)
}

3. 批量检测

func batchDetection() {
	texts := []string{
		"Bonjour tout le monde",  // 法语
		"こんにちは世界",          // 日语
		"Hola mundo",            // 西班牙语
		"Привет мир",            // 俄语
	}
	
	for _, text := range texts {
		info := whatlanggo.Detect(text)
		fmt.Printf("'%s' -> %s (%.2f)\n", text, info.Lang.String(), info.Confidence)
	}
}

高级功能

1. 获取所有支持的语言

func listAllLanguages() {
	fmt.Println("支持的84种语言:")
	for _, lang := range whatlanggo.Langs() {
		fmt.Println(lang.String())
	}
}

2. 自定义阈值

func detectionWithThreshold() {
	text := "This is a very short text"
	
	// 默认最小文本长度是10，可以修改
	whatlanggo.MinTextLength = 5
	
	info := whatlanggo.Detect(text)
	if info.IsReliable() {
		fmt.Printf("检测到语言: %s\n", info.Lang.String())
	} else {
		fmt.Println("文本太短或不可靠")
	}
}

性能优化

对于大量文本检测，可以重用Options对象：

func efficientBatchDetection() {
	texts := []string{
		"Lorem ipsum dolor sit amet",
		"天地玄黄 宇宙洪荒",
		"На берегу пустынных волн",
	}
	
	// 创建一次Options对象
	opts := whatlanggo.Options{
		Whitelist: map[whatlanggo.Lang]bool{
			whatlanggo.Eng: true,
			whatlanggo.Cmn: true,
			whatlanggo.Rus: true,
		},
	}
	
	for _, text := range texts {
		info := whatlanggo.DetectWithOptions(text, opts)
		fmt.Printf("检测结果: %s\n", info.Lang.String())
	}
}

注意事项

1. whatlanggo对短文本(少于10个字符)的检测可能不可靠
2. 混合语言的文本会返回主要语言的检测结果
3. 对于某些相似语言(如塞尔维亚语和克罗地亚语)，可能需要更长的文本来区分
4. 置信度低于0.5的结果通常不可靠

whatlanggo是一个简单高效的库，适用于大多数语言检测场景。如果需要更高级的功能(如语言概率分布)，可以考虑其他更复杂的库。