Rust语言识别库lingua-belarusian-language-model使用指南

简介

lingua-belarusian-language-model是一个Rust库，专门用于白俄罗斯语(беларуская мова)的文本检测和自然语言处理。该库基于统计语言模型，能够准确识别白俄罗斯语文本，并支持基本的自然语言处理功能。

主要功能

1. 白俄罗斯语文本检测
2. 语言识别置信度评分
3. 多语言混合文本中的白俄罗斯语识别
4. 基本的自然语言处理功能

安装

在Cargo.toml中添加依赖：

[dependencies]
lingua-belarusian-language-model = "0.1.0"  # 请使用最新版本号

基本使用方法

1. 检测文本是否为白俄罗斯语

use lingua_belarusian_language_model::{LanguageDetector, Language};

fn main() {
    let detector = LanguageDetector::new();
    let text = "Гэта прыклад тэксту на беларускай мове.";
    
    let result = detector.detect_language(text);
    
    match result {
        Some((Language::Belarusian, confidence)) => {
            println!("检测到白俄罗斯语，置信度: {:.2}%", confidence * 100.0);
        }
        _ => println!("未检测到白俄罗斯语"),
    }
}

2. 在多语言文本中识别白俄罗斯语

use lingua_belarusian_language_model::{LanguageDetector, Language};

fn main() {
    let detector = LanguageDetector::new();
    let mixed_text = "This is English. Гэта беларуская мова. Это русский язык.";
    
    let languages = detector.detect_multiple_languages(mixed_text);
    
    for (lang, confidence, range) in languages {
        println!("检测到语言: {:?}, 置信度: {:.2}%, 位置: {}..{}", 
            lang, confidence * 100.0, range.start, range.end);
    }
}

3. 自然语言处理功能示例

use lingua_belarusian_language_model::{NLPProcessor, Token};

fn main() {
    let processor = NLPProcessor::new();
    let text = "Мінск - сталіца Беларусі.";
    
    // 分词
    let tokens: Vec<Token> = processor.tokenize(text);
    println!("分词结果:");
    for token in tokens {
        println!("{:?}", token);
    }
    
    // 提取名词
    let nouns = processor.extract_nouns(text);
    println!("名词提取结果: {:?}", nouns);
}

高级功能

1. 自定义语言检测阈值

use lingua_belarusian_language_model::{LanguageDetectorBuilder, Language};

fn main() {
    let detector = LanguageDetectorBuilder::new()
        .with_minimum_confidence(0.8)  // 设置最小置信度为80%
        .build();
    
    let text = "Некаторы тэкст, які можа быць не вельмі дакладным.";
    let result = detector.detect_language(text);
    
    // 只有当置信度>=80%时才会返回Belarusian
}

2. 处理大量文本

use lingua_belarusian_language_model::{LanguageDetector, Language};
use std::fs;

fn main() {
    let detector = LanguageDetector::new();
    let content = fs::read_to_string("large_text.txt").unwrap();
    
    // 分块处理大文本
    let chunks = content.as_bytes().chunks(4096);  // 4KB每块
    
    for chunk in chunks {
        if let Some((Language::Belarusian, _)) = detector.detect_language(chunk) {
            println!("发现白俄罗斯语文本块");
            // 进一步处理...
        }
    }
}

性能建议

1. 对于大量文本处理，考虑重用LanguageDetector实例
2. 如果只需要检测白俄罗斯语，可以禁用其他语言模型以提高性能
3. 对于短文本，结果可能不够准确，建议处理至少20个字符的文本

注意事项

1. 该库主要针对现代标准白俄罗斯语
2. 对于方言或古白俄罗斯语文本，识别准确率可能降低
3. 与俄语或乌克兰语混合的文本可能需要调整置信度阈值

错误处理

use lingua_belarusian_language_model::{LanguageDetector, DetectionError};

fn main() {
    let detector = LanguageDetector::new();
    
    match detector.detect_language_with_error("") {
        Ok(result) => {
            // 处理结果
        },
        Err(DetectionError::EmptyText) => {
            eprintln!("错误: 输入文本为空");
        },
        Err(e) => {
            eprintln!("检测错误: {:?}", e);
        }
    }
}

完整示例

以下是一个完整的示例，展示了如何使用lingua-belarusian-language-model库进行白俄罗斯语文本处理：

use lingua_belarusian_language_model::{
    LanguageDetector, 
    LanguageDetectorBuilder,
    Language,
    NLPProcessor,
    DetectionError
};

fn main() {
    // 示例1: 基本语言检测
    let detector = LanguageDetector::new();
    let sample_text = "Гэта прыклад беларускага тэксту.";
    
    match detector.detect_language(sample_text) {
        Some((Language::Belarusian, confidence)) => {
            println!("检测到白俄罗斯语，置信度: {:.2}%", confidence * 100.0);
        },
        Some((other_lang, _)) => {
            println!("检测到其他语言: {:?}", other_lang);
        },
        None => println!("未能确定语言")
    }

    // 示例2: 高级语言检测配置
    let strict_detector = LanguageDetectorBuilder::new()
        .with_minimum_confidence(0.9) // 高置信度阈值
        .build();
    
    let ambiguous_text = "Гэта трохі незразумелы тэкст...";
    if strict_detector.detect_language(ambiguous_text).is_none() {
        println!("文本未能达到置信度阈值");
    }

    // 示例3: NLP处理
    let processor = NLPProcessor::new();
    let news_text = "Беларусь адзначае Дзень Незалежнасці 3 ліпеня.";
    
    println!("\n分词结果:");
    for token in processor.tokenize(news_text) {
        println!("{:?}", token);
    }
    
    println!("\n提取的名词:");
    for noun in processor.extract_nouns(news_text) {
        println!("{}", noun);
    }

    // 示例4: 错误处理
    match detector.detect_language_with_error("") {
        Ok(_) => unreachable!(),
        Err(DetectionError::EmptyText) => {
            println!("正确处理了空文本错误");
        },
        Err(e) => println!("意外错误: {:?}", e)
    }
}

这个完整示例展示了：

1. 基本的白俄罗斯语检测
2. 带有高置信度阈值的高级检测
3. 自然语言处理功能(分词和名词提取)
4. 健壮的错误处理

你可以根据需要调整代码，例如修改置信度阈值或处理更复杂的文本分析任务。