Rust自然语言处理库lingua-afrikaans-language-model使用指南

完整示例代码

以下是一个完整的阿非利卡语文本处理示例，结合了库的主要功能：

use lingua_afrikaans_language_model::{AfrikaansLanguageModel, ModelConfig, ModelTrainer};

fn main() {
    // 1. 加载预训练模型
    let model = match AfrikaansLanguageModel::load_default() {
        Ok(model) => model,
        Err(e) => {
            eprintln!("加载模型失败: {}", e);
            return;
        }
    };
    
    // 2. 文本分析示例
    let sample_text = "Goeie dag, hoe gaan dit vandag?";
    analyze_text(&model, sample_text);
    
    // 3. 生成新句子
    generate_sentences(&model);
    
    // 4. 训练自定义模型
    train_custom_model();
}

// 文本分析函数
fn analyze_text(model: &AfrikaansLanguageModel, text: &str) {
    println!("\n=== 文本分析 ===");
    println!("原始文本: {}", text);
    
    // 分词
    let tokens = model.tokenize(text);
    println!("分词结果: {:?}", tokens);
    
    // 计算概率
    let probability = model.text_probability(text);
    println!("文本概率: {:.4}", probability);
    
    // 语言检测
    println!("语言检测: {}", 
        if model.is_afrikaans(text) { "阿非利卡语" } else { "其他语言" });
    
    // 预测下一个词
    if let Some(next_word) = model.predict_next_word(text) {
        println!("下一个可能单词: {}", next_word);
    }
}

// 句子生成函数
fn generate_sentences(model: &AfrikaansLanguageModel) {
    println!("\n=== 句子生成 ===");
    
    // 生成长度不同的句子
    for len in 5..=8 {
        let sentence = model.generate_sentence(len);
        println!("生成 {} 个单词的句子: {}", len, sentence);
    }
}

// 训练自定义模型
fn train_custom_model() {
    println!("\n=== 训练自定义模型 ===");
    
    // 创建训练器
    let mut trainer = ModelTrainer::new();
    
    // 添加训练数据
    trainer.add_text("Ek is lief vir jou");
    trainer.add_text("Hoe gaan dit?");
    trainer.add_text("Goeie more, hoe gaan dit?");
    trainer.add_text("Dit is 'n mooi dag");
    
    // 配置模型参数
    let config = ModelConfig {
        ngram_order: 3,
        ..Default::default()
    };
    
    // 训练并保存模型
    match trainer.train_with_config(config) {
        Ok(trained_model) => {
            if let Err(e) = trained_model.save_to_file("custom_model.bin") {
                eprintln!("保存模型失败: {}", e);
            } else {
                println!("自定义模型训练完成并已保存到 custom_model.bin");
            }
        }
        Err(e) => eprintln!("训练失败: {}", e),
    }
}

代码说明

1. 模型加载：使用load_default()加载预训练模型，包含错误处理

2. 文本分析：

   • tokenize() 方法进行分词
   • text_probability() 计算文本概率
   • is_afrikaans() 进行语言检测
   • predict_next_word() 预测下一个单词

3. 句子生成：

   • generate_sentence() 生成指定长度的句子
   • 示例展示了生成5-8个单词的句子

4. 自定义训练：

   • 使用ModelTrainer创建训练器
   • 添加训练文本数据
   • 配置模型参数（n-gram阶数）
   • 训练并保存自定义模型

运行结果示例

=== 文本分析 ===
原始文本: Goeie dag, hoe gaan dit vandag?
分词结果: ["Goeie", "dag", "hoe", "gaan", "dit", "vandag"]
文本概率: 0.0042
语言检测: 阿非利卡语
下一个可能单词: met

=== 句子生成 ===
生成 5 个单词的句子: Ek het 'n mooi huis
生成 6 个单词的句子: Die kinders speel in die park
生成 7 个单词的句子: Ons gaan more na die skool toe
生成 8 个单词的句子: Die kat sit op die stoep en slaap

=== 训练自定义模型 ===
自定义模型训练完成并已保存到 custom_model.bin

注意事项

1. 首次运行会自动下载语言模型数据（如未预装）
2. 训练自定义模型需要足够的内存
3. 生成文本的质量取决于训练数据的质量