Rust自然语言处理库lingua-serbian-language-model使用指南

简介

lingua-serbian-language-model是一个专门用于塞尔维亚语文本分析与处理的Rust库。它为开发者提供了高效的工具来处理塞尔维亚语文本，包括语言检测、分词、词性标注等功能。

安装

在Cargo.toml中添加依赖：

[dependencies]
lingua-serbian-language-model = "0.1.0"  # 请使用最新版本号

主要功能

1. 语言检测

use lingua_serbian_language_model::detector::{LanguageDetector, Language};

fn main() {
    let detector = LanguageDetector::new();
    let text = "Ово је пример текста на српском језику.";
    
    match detector.detect_language_of(text) {
        Some(Language::Serbian) => println!("Текст је на српском језику."),
        Some(_) => println!("Текст није на српском језику."),
        None => println!("Није могуће одредити језик."),
    }
}

2. 分词处理

use lingua_serbian_language_model::tokenizer::Tokenizer;

fn main() {
    let tokenizer = Tokenizer::new();
    let text = "Српски језик је веома леп и експресиван.";
    
    let tokens = tokenizer.tokenize(text);
    println!("{:?}", tokens);
    // 输出: ["Српски", "језик", "је", "веома", "леп", "и", "експресиван", "."]
}

3. 词性标注

use lingua_serbian_language_model::tagger::PosTagger;

fn main() {
    let tagger = PosTagger::new();
    let text = "Овај библиотека је веома корисна.";
    
    let tagged = tagger.tag(text);
    for (word, pos) in tagged {
        println!("{}: {}", word, pos);
    }
    // 示例输出:
    // Овај: заменица
    // библиотека: именица
    // је: глагол
    // веома: прилог
    // корисна: придев
    // .: интерпункција
}

4. 词形还原

use lingua_serbian_language_model::lemmatizer::Lemmatizer;

fn main() {
    let lemmatizer = Lemmatizer::new();
    let words = vec!["говорим", "писао", "читали", "лепим"];
    
    for word in words {
        println!("{} -> {}", word, lemmatizer.lemmatize(word));
    }
    // 输出:
    // говорим -> говорити
    // писао -> писати
    // читали -> читати
    // лепим -> лепити
}

高级用法

自定义词典

use lingua_serbian_language_model::tagger::PosTagger;
use std::collections::HashMap;

fn main() {
    let mut custom_dict = HashMap::new();
    custom_dict.insert("рачунар", "технологија");
    
    let tagger = PosTagger::with_custom_dictionary(custom_dict);
    let result = tagger.tag("Овај рачунар је брз.");
    
    println!("{:?}", result);
}

批量处理

use lingua_serbian_language_model::pipeline::TextPipeline;

fn main() {
    let pipeline = TextPipeline::new();
    let texts = vec![
        "Први текст за анализу.",
        "Други пример са више речи.",
    ];
    
    let results = pipeline.process_batch(&texts);
    for result in results {
        println!("{:?}", result);
    }
}

性能提示

1. 对于大量文本处理，考虑使用Arc共享模型实例
2. 批处理通常比单条处理更高效
3. 模型加载可能较慢，建议应用启动时初始化

注意事项

• 当前版本主要支持现代塞尔维亚语(ekavian方言)
• 对于非标准拼写或方言变体，准确率可能降低
• 处理非常长的文本时，考虑分块处理

这个库为Rust开发者提供了强大的工具来处理塞尔维亚语文本，特别适合需要高性能NLP处理的应用场景。

完整示例

以下是一个综合使用lingua-serbian-language-model库的完整示例：

use lingua_serbian_language_model::{
    detector::{LanguageDetector, Language},
    tokenizer::Tokenizer,
    tagger::PosTagger,
    lemmatizer::Lemmatizer,
    pipeline::TextPipeline,
};
use std::collections::HashMap;
use std::sync::Arc;

fn main() {
    // 语言检测示例
    let detector = Arc::new(LanguageDetector::new());
    let text = "Ово је пример текста на српском језику.";
    match detector.detect_language_of(text) {
        Some(Language::Serbian) => println!("检测到塞尔维亚语文本"),
        Some(_) => println!("检测到其他语言文本"),
        None => println!("无法确定语言"),
    }

    // 分词处理示例
    let tokenizer = Arc::new(Tokenizer::new());
    let tokens = tokenizer.tokenize(text);
    println!("分词结果: {:?}", tokens);

    // 词性标注示例
    let tagger = Arc::new(PosTagger::new());
    let tagged = tagger.tag(text);
    println!("词性标注结果:");
    for (word, pos) in tagged {
        println!("{}: {}", word, pos);
    }

    // 词形还原示例
    let lemmatizer = Arc::new(Lemmatizer::new());
    println!("词形还原结果:");
    for word in &tokens {
        if word.chars().all(|c| c.is_alphabetic()) {
            println!("{} -> {}", word, lemmatizer.lemmatize(word));
        }
    }

    // 自定义词典示例
    let mut custom_dict = HashMap::new();
    custom_dict.insert("рачунар", "технологија");
    let custom_tagger = PosTagger::with_custom_dictionary(custom_dict);
    let custom_result = custom_tagger.tag("Овај рачунар је брз.");
    println!("自定义词典标注结果: {:?}", custom_result);

    // 批量处理示例
    let pipeline = TextPipeline::new();
    let texts = vec![
        "Први текст за анализу.",
        "Други пример са више речи.",
    ];
    let batch_results = pipeline.process_batch(&texts);
    println!("批量处理结果:");
    for result in batch_results {
        println!("{:?}", result);
    }
}

这个完整示例展示了如何：

1. 使用Arc共享模型实例以提高性能
2. 结合使用语言检测、分词、词性标注和词形还原功能
3. 使用自定义词典进行特殊词汇处理
4. 批量处理多个文本