Rust波兰语自然语言处理库lingua-polish-language-model使用指南

简介

lingua-polish-language-model是一个专门为波兰语设计的Rust自然语言处理库，提供了高效的波兰语文本分析与处理功能。该库基于先进的NLP算法，能够准确处理波兰语特有的语言特征。

主要功能

1. 波兰语分词(tokenization)
2. 词性标注(POS tagging)
3. 命名实体识别(NER)
4. 词形还原(lemmatization)
5. 语言检测
6. 文本规范化

安装方法

在Cargo.toml中添加依赖：

[dependencies]
lingua-polish-language-model = "0.3"

基本使用方法

1. 初始化模型

use lingua_polish_language_model::PolishLanguageModel;

fn main() {
    let model = PolishLanguageModel::new();
    // 或者从自定义路径加载模型
    // let model = PolishLanguageModel::from_path("/path/to/model");
}

2. 文本分词示例

let text = "Rust jest świetnym językiem programowania.";
let tokens = model.tokenize(text);
println!("{:?}", tokens);
// 输出: ["Rust", "jest", "świetnym", "językiem", "programowania", "."]

3. 词性标注示例

let tagged = model.pos_tag(text);
for (token, tag) in tagged {
    println!("{}: {}", token, tag);
}
// 输出示例:
// Rust: NOUN
// jest: VERB
// świetnym: ADJ
// językiem: NOUN
// programowania: NOUN

4. 命名实体识别示例

let text = "Jan Kowalski pracuje w Warszawie.";
let entities = model.recognize_entities(text);
for entity in entities {
    println!("{:?}", entity);
}
// 输出示例:
// Entity { text: "Jan Kowalski", type: Person }
// Entity { text: "Warszawie", type: Location }

5. 词形还原示例

let word = "chodząc";
let lemma = model.lemmatize(word);
println!("{} -> {}", word, lemma); // 输出: chodząc -> chodzić

高级用法

批量处理文本

let texts = vec![
    "Pierwszy tekst do analizy.",
    "Drugi przykład zdania.",
    "Trzecia próba przetwarzania."
];

let results: Vec<_> = texts.iter()
    .map(|text| model.pos_tag(text))
    .collect();

自定义处理管道

let pipeline = model.tokenize(text)
    .into_iter()
    .filter(|token| !model.is_stopword(token))
    .map(|token| model.lemmatize(&token))
    .collect::<Vec<_>>();

性能优化

对于大量文本处理，建议使用批处理模式：

let large_texts = vec![/* 大量文本 */];
let batch_results = model.process_batch(&large_texts);

注意事项

1. 波兰语有复杂的语法规则，某些特殊情况可能需要后处理
2. 首次使用时会下载模型数据(如果未本地提供)
3. 处理非常长的文本时考虑分块处理

错误处理

match model.process(text) {
    Ok(result) => {
        // 处理结果
    },
    Err(e) => {
        eprintln!("处理错误: {}", e);
    }
}

完整示例demo

下面是一个综合使用lingua-polish-language-model库的完整示例：

use lingua_polish_language_model::PolishLanguageModel;

fn main() {
    // 1. 初始化模型
    let model = PolishLanguageModel::new();
    
    // 2. 示例文本
    let text = "Adam Mickiewicz urodził się w Nowogródku i jest uważany za jednego z największych polskich poetów.";
    
    // 3. 分词
    println!("=== 分词结果 ===");
    let tokens = model.tokenize(text);
    println!("{:?}\n", tokens);
    
    // 4. 词性标注
    println!("=== 词性标注 ===");
    let pos_tags = model.pos_tag(text);
    for (token, tag) in pos_tags {
        println!("{}: {}", token, tag);
    }
    println!();
    
    // 5. 命名实体识别
    println!("=== 命名实体识别 ===");
    let entities = model.recognize_entities(text);
    for entity in entities {
        println!("实体: {}, 类型: {:?}", entity.text, entity.entity_type);
    }
    println!();
    
    // 6. 词形还原示例
    println!("=== 词形还原 ===");
    let words = ["urodził", "jest", "największych"];
    for word in words {
        println!("{} -> {}", word, model.lemmatize(word));
    }
    
    // 7. 批处理示例
    let texts = vec![
        "Litwo! Ojczyzno moja!",
        "Pan Tadeusz to epopeja narodowa.",
        "Często wspominamy Mickiewicza i Słowackiego."
    ];
    
    println!("\n=== 批处理结果 ===");
    let batch_results = model.process_batch(&texts);
    for (i, result) in batch_results.iter().enumerate() {
        println!("文本 {} 的实体:", i+1);
        for entity in &result.entities {
            println!("  - {} ({:?})", entity.text, entity.entity_type);
        }
    }
    
    // 8. 错误处理示例
    println!("\n=== 错误处理 ===");
    match model.process("") {
        Ok(_) => println!("处理成功"),
        Err(e) => println!("错误: {}", e),
    }
}

这个完整示例展示了lingua-polish-language-model库的主要功能，包括：

1. 模型初始化
2. 文本分词
3. 词性标注
4. 命名实体识别
5. 词形还原
6. 批处理
7. 错误处理

您可以根据实际需求调整和扩展这个示例，构建适合自己项目的波兰语NLP处理流程。