Rust斯洛文尼亚语处理库lingua-slovene-language-model的使用

Slovene language model for Lingua

这是一个用于斯洛文尼亚语的语言模型，由Lingua使用。Lingua是Rust生态中最准确的自然语言检测库。

版本更新

版本1.2.0

• 通过包含独特和最常见的ngrams增强了语言模型，以支持独立于其他语言的绝对置信度指标。

版本1.1.0

• 语言模型文件现在使用Brotli算法压缩，平均减少了15%的文件大小。

安装

在项目目录中运行以下Cargo命令：

cargo add lingua-slovene-language-model

或者在Cargo.toml中添加以下行：

lingua-slovene-language-model = "1.2.0"

使用示例

use lingua::Language;
use lingua::LanguageDetector;
use lingua::LanguageDetectorBuilder;
use lingua_slovene_language_model::SLOVENE;

fn main() {
    // 创建语言检测器并包含斯洛文尼亚语模型
    let detector: LanguageDetector = LanguageDetectorBuilder::from_languages(&[Language::Slovenian])
        .with_preloaded_language_models()
        .build();
    
    // 待检测的斯洛文尼亚语文本
    let text = "Danes je lep dan za sprehod po parku.";
    
    // 检测文本语言
    let detected_language = detector.detect_language_of(text);
    
    // 输出检测结果
    match detected_language {
        Some(lang) => println!("检测到的语言: {:?}", lang),
        None => println!("无法确定语言"),
    }
    
    // 获取置信度
    let confidence_values = detector.compute_language_confidence_values(text);
    println!("置信度: {:?}", confidence_values);
}

完整示例代码

// 添加依赖到Cargo.toml:
// lingua = "1.0"
// lingua-slovene-language-model = "1.2.0"

use lingua::{Language, LanguageDetector, LanguageDetectorBuilder};
use lingua_slovene_language_model::SLOVENE;

fn main() {
    // 初始化语言检测器
    let languages = vec![Language::Slovenian, Language::English];
    let detector = LanguageDetectorBuilder::from_languages(&languages)
        .with_preloaded_language_models()
        .build();

    // 测试文本
    let slovenian_text = "Vsi ljudje se rodijo svobodni in imajo enako dostojanstvo in enake pravice.";
    let english_text = "All human beings are born free and equal in dignity and rights.";

    // 检测斯洛文尼亚语文本
    match detector.detect_language_of(slovenian_text) {
        Some(Language::Slovenian) => println!("正确检测到斯洛文尼亚语"),
        Some(lang) => println!("错误检测为: {:?}", lang),
        None => println!("未能检测到语言"),
    }

    // 检测英语文本
    match detector.detect_language_of(english_text) {
        Some(Language::English) => println!("正确检测到英语"),
        Some(lang) => println!("错误检测为: {:?}", lang),
        None => println!("未能检测到语言"),
    }

    // 获取斯洛文尼亚语文本的详细置信度
    let confidences = detector.compute_language_confidence_values(slovenian_text);
    println!("置信度详情:");
    for (language, confidence) in confidences {
        println!("{:?}: {:.4}", language, confidence);
    }
}

更完整的实际应用示例

// 添加依赖到Cargo.toml:
// lingua = "1.0"
// lingua-slovene-language-model = "1.2.0"
// tokio = { version = "1.0", features = ["full"] }

use lingua::{Language, LanguageDetector, LanguageDetectorBuilder};
use lingua_slovene_language_model::SLOVENE;
use std::error::Error;
use tokio::fs;

#[tokio::main]
async fn main() -> Result<(), Box<dyn Error>> {
    // 初始化支持多种语言的语言检测器
    let languages = vec![
        Language::Slovenian,
        Language::English,
        Language::German,
        Language::French,
    ];
    
    let detector = LanguageDetectorBuilder::from_languages(&languages)
        .with_preloaded_language_models()
        .build();

    // 从文件读取待检测的文本
    let text = fs::read_to_string("sample_text.txt").await?;
    
    // 检测语言
    let detected_language = detector.detect_language_of(&text);
    
    // 处理检测结果
    match detected_language {
        Some(Language::Slovenian) => {
            println!("检测到斯洛文尼亚语文本");
            // 处理斯洛文尼亚语文本...
        },
        Some(lang) => println!("检测到其他语言: {:?}", lang),
        None => println!("无法确定文本语言"),
    }

    // 获取置信度详情
    let confidences = detector.compute_language_confidence_values(&text);
    println!("语言检测置信度:");
    for (lang, confidence) in confidences {
        println!("- {:?}: {:.2}%", lang, confidence * 100.0);
    }

    // 批量检测多个文本片段
    let texts = vec![
        "To je besedilo v slovenščini.",
        "This is an English text.",
        "Dies ist ein deutscher Text.",
        "Ceci est un texte français.",
    ];

    println!("\n批量检测结果:");
    for text in texts {
        let lang = detector.detect_language_of(text).unwrap_or(Language::Unknown);
        println!("'{}' → {:?}", text, lang);
    }

    Ok(())
}

许可证

该项目使用Apache-2.0许可证。