Rust语言处理库lingua-azerbaijani-language-model的使用指南

简介

lingua-azerbaijani-language-model是一个用于阿塞拜疆语自然语言处理的Rust库，提供了文本分析、语言检测和NLP相关功能。该库专为处理阿塞拜疆语文本而优化，适合需要处理阿塞拜疆语内容的开发者使用。

安装

在Cargo.toml中添加依赖：

[dependencies]
lingua-azerbaijani-language-model = "0.1.0"  # 请使用最新版本号

主要功能

1. 语言检测

use lingua_azerbaijani_language_model::detector::{LanguageDetector, Language};

fn main() {
    let detector = LanguageDetector::new();
    let text = "Bu mətn Azərbaycan dilində yazılıb";
    let result = detector.detect_language(text);
    
    assert_eq!(result, Some(Language::Azerbaijani));
}

2. 文本分词

use lingua_azerbaijani_language_model::tokenizer::Tokenizer;

fn main() {
    let tokenizer = Tokenizer::new();
    let text = "Azərbaycan Respublikasının paytaxtı Bakı şəhəridir.";
    let tokens = tokenizer.tokenize(text);
    
    println!("{:?}", tokens);
    // 输出: ["Azərbaycan", "Respublikasının", "paytaxtı", "Bakı", "şəhəridir"]
}

3. 词干提取

use lingua_azerbaijani_language_model::stemmer::Stemmer;

fn main() {
    let stemmer = Stemmer::new();
    let word = "kitablarımızda";
    let stem = stemmer.stem(word);
    
    println!("{} -> {}", word, stem); // 输出: kitablarımızda -> kitab
}

4. 停用词过滤

use lingua_azerbaijani_language_model::stopwords::StopWords;

fn main() {
    let stopwords = StopWords::new();
    let text = "Bu bir test mətnidir və bəzi sözlər filtirlənəcək";
    let filtered = stopwords.filter(text);
    
    println!("{}", filtered); // 输出: test mətnidir sözlər filtirlənəcək
}

5. N-gram生成

use lingua_azerbaijani_language_model::ngram::NGramGenerator;

fn main() {
    let generator = NGramGenerator::new(2); // 2-gram
    let text = "Azərbaycan gözəl ölkədir";
    let ngrams = generator.generate(text);
    
    println!("{:?}", ngrams);
    // 输出: ["Azərbaycan gözəl", "gözəl ölkədir"]
}

高级用法

自定义配置

use lingua_azerbaijani_language_model::{
    detector::LanguageDetectorBuilder,
    tokenizer::TokenizerBuilder
};

fn main() {
    // 构建自定义语言检测器
    let detector = LanguageDetectorBuilder::new()
        .with_minimum_relative_distance(0.8)
        .build();
    
    // 构建自定义分词器
    let tokenizer = TokenizerBuilder::new()
        .with_split_contractions(true)
        .build();
}

性能优化

对于大量文本处理，可以使用批处理模式：

use lingua_azerbaijani_language_model::batch::BatchProcessor;

fn main() {
    let processor = BatchProcessor::new();
    let texts = vec![
        "Birinci mətn",
        "İkinci sənəd",
        "Üçüncü yazı"
    ];
    
    let results = processor.process_batch(texts);
    // 批量处理结果
}

注意事项

1. 该库主要针对现代标准阿塞拜疆语优化
2. 处理方言或非标准文本时准确率可能下降
3. 首次加载模型可能需要较长时间

错误处理

use lingua_azerbaijani_language_model::error::ModelError;

fn process_text(text: &str) -> Result<Vec<String>, ModelError> {
    let tokenizer = Tokenizer::new();
    tokenizer.tokenize(text)
}

fn main() {
    match process_text("Səhv mətn") {
        Ok(tokens) => println!("Tokens: {:?}", tokens),
        Err(e) => eprintln!("Error: {}", e),
    }
}

这个库为Rust开发者提供了处理阿塞拜疆语文本的便捷工具，可以集成到各种NLP应用中。

完整示例demo

下面是一个综合使用多种功能的完整示例：

use lingua_azerbaijani_language_model::{
    detector::{LanguageDetector, Language},
    tokenizer::Tokenizer,
    stemmer::Stemmer,
    stopwords::StopWords,
    ngram::NGramGenerator,
    error::ModelError
};

fn main() -> Result<(), ModelError> {
    // 示例文本
    let text = "Azərbaycan dilində yazılmış kitablarımız kitabxanalarda saxlanılır";
    
    // 1. 语言检测
    let detector = LanguageDetector::new();
    let lang = detector.detect_language(text);
    println!("检测语言: {:?}", lang);
    
    // 2. 文本分词
    let tokenizer = Tokenizer::new();
    let tokens = tokenizer.tokenize(text)?;
    println!("分词结果: {:?}", tokens);
    
    // 3. 词干提取
    let stemmer = Stemmer::new();
    let stemmed: Vec<String> = tokens.iter()
        .map(|word| stemmer.stem(word))
        .collect();
    println!("词干提取: {:?}", stemmed);
    
    // 4. 停用词过滤
    let stopwords = StopWords::new();
    let filtered = stopwords.filter(text);
    println!("停用词过滤后: {}", filtered);
    
    // 5. N-gram生成
    let generator = NGramGenerator::new(3); // 3-gram
    let ngrams = generator.generate(text);
    println!("3-gram结果: {:?}", ngrams);
    
    Ok(())
}

这个完整示例展示了如何结合使用库的多种功能来处理阿塞拜疆语文本，包括语言检测、分词、词干提取、停用词过滤和N-gram生成。