Rust语言处理库lingua-nynorsk-language-model的使用，支持新挪威语(Nynorsk)文本分析与自然语言处理

Lingua的新挪威语语言模型

这是用于Lingua的新挪威语(Nynorsk)语言模型，Lingua是Rust生态系统中最准确的自然语言检测库。

更新日志

版本1.2.0

• 通过包含独特和最常见的ngrams来增强语言模型，支持独立于其他语言的绝对置信度指标

版本1.1.0

• 语言模型文件现在使用Brotli算法压缩，平均减少了15%的文件大小

安装

在项目目录中运行以下Cargo命令：

cargo add lingua-nynorsk-language-model

或者在您的Cargo.toml中添加以下行：

lingua-nynorsk-language-model = "1.2.0"

使用示例

以下是一个完整的示例demo，展示如何使用lingua-nynorsk-language-model进行新挪威语文本分析：

use lingua::{Language, LanguageDetector, LanguageDetectorBuilder};
use lingua_nynorsk_language_model::NYNORSK;

fn main() {
    // 创建语言检测器，包含新挪威语
    let languages = vec![Language::English, Language::Norwegian, NYNORSK];
    let detector: LanguageDetector = LanguageDetectorBuilder::from_languages(&languages)
        .build();
    
    // 要检测的文本
    let text = "Dette er ein tekst på nynorsk. Nynorsk er ein av dei to offisielle målformene i Noreg.";
    
    // 检测语言
    let detected_language = detector.detect_language_of(text);
    
    match detected_language {
        Some(language) => println!("检测到的语言: {:?}", language),
        None => println!("无法确定语言"),
    }
    
    // 获取置信度分数
    let confidence_scores = detector.compute_language_confidence_values(text);
    println!("语言置信度分数:");
    for (language, score) in confidence_scores {
        println!("{:?}: {}", language, score);
    }
}

完整示例代码

use lingua::{Language, LanguageDetector, LanguageDetectorBuilder};
use lingua_nynorsk_language_model::NYNORSK;

fn main() {
    // 1. 初始化语言检测器，包含需要检测的语言
    let languages = vec![
        Language::English,
        Language::Norwegian,
        Language::Swedish,
        Language::Danish,
        NYNORSK,  // 新挪威语
    ];
    
    // 2. 构建语言检测器
    let detector = LanguageDetectorBuilder::from_languages(&languages)
        .with_preloaded_language_models()
        .build();
    
    // 3. 准备测试文本
    let test_cases = vec![
        ("English text", "This is a sample English text"),
        ("Norwegian Bokmål", "Dette er en tekst på bokmål"),
        ("Nynorsk", "Dette er ein tekst på nynorsk. Nynorsk er ein av dei to offisielle målformene i Noreg."),
        ("Swedish", "Det här är en text på svenska"),
        ("Danish", "Dette er en dansk tekst")
    ];
    
    // 4. 检测每种文本的语言
    for (description, text) in test_cases {
        println!("\n测试案例: {}", description);
        println!("文本内容: {}", text);
        
        // 检测主要语言
        match detector.detect_language_of(text) {
            Some(lang) => println!("主要语言: {:?}", lang),
            None => println!("无法确定主要语言"),
        }
        
        // 获取所有语言的置信度分数
        println!("详细置信度:");
        let scores = detector.compute_language_confidence_values(text);
        for (lang, score) in scores {
            println!("  {:?}: {:.4}", lang, score);
        }
    }
    
    // 5. 批量检测示例
    println!("\n批量检测示例:");
    let texts = vec![
        "Korleis har du det?",
        "How are you doing?",
        "Hvordan har du det?",
        "Eg les denne boka no"
    ];
    
    let results = detector.detect_languages_in_batch(&texts);
    for (i, result) in results.iter().enumerate() {
        println!("文本 {}: {:?}", i+1, result);
    }
}

特性

1. 高精度检测新挪威语文本
2. 支持独立于其他语言的绝对置信度指标
3. 优化的模型大小，使用Brotli压缩算法
4. 与其他Lingua语言模型无缝集成

注意

使用此库需要同时安装lingua主库和lingua-nynorsk-language-model语言模型库。