lingua-marathi-language-model: 马拉地语文本分析与语言模型构建

介绍

lingua-marathi-language-model 是一个专注于马拉地语(Marathi)自然语言处理的Rust库。它提供了马拉地语文本分析、语言模型构建等功能，适用于处理印度马拉地语文本的各种NLP任务。

主要功能

1. 马拉地语文本分词与标准化
2. 词性标注(POS tagging)
3. 命名实体识别(NER)
4. 语言模型训练与评估
5. 文本分类与情感分析

安装

在Cargo.toml中添加依赖：

[dependencies]
lingua-marathi-language-model = "0.1.0"

基本使用方法

1. 文本分词

use lingua_marathi_language_model::tokenizer::MarathiTokenizer;

fn main() {
    let text = "मराठी भाषा ही भारतातील एक प्रमुख भाषा आहे.";
    let tokenizer = MarathiTokenizer::new();
    let tokens = tokenizer.tokenize(text);
    
    println!("Tokens: {:?}", tokens);
    // 输出: ["मराठी", "भाषा", "ही", "भारतातील", "एक", "प्रमुख", "भाषा", "आहे", "."]
}

2. 词性标注

use lingua_marathi_language_model::pos_tagger::MarathiPosTagger;

fn main() {
    let text = "मुंबई हे भारताचे आर्थिक राजधानीचے शहर आहे";
    let tagger = MarathiPosTagger::new();
    let tagged = tagger.tag(text);
    
    for (word, pos) in tagged {
        println!("{}: {}", word, pos);
    }
    // 示例输出:
    // मुंबई: NOUN
    // हे: PRON
    // भारताचे: ADJ
    // आर्थिक: ADJ
    // राजधानीचे: NOUN
    // शहर: NOUN
    // आहे: VERB
}

3. 训练语言模型

use lingua_marathi_language_model::lm::{MarathiLanguageModel, TrainConfig};

fn main() {
    let config = TrainConfig {
        ngram_order: 3,
        smoothing: Some("kneser_ney".to_string()),
        // 其他训练参数...
    };
    
    let mut model = MarathiLanguageModel::new(config);
    
    // 从文件加载训练数据
    model.train_from_file("marathi_corpus.txt").unwrap();
    
    // 保存模型
    model.save("marathi_lm.bin").unwrap();
    
    // 加载已有模型
    let loaded_model = MarathiLanguageModel::load("marathi_lm.bin").unwrap();
    
    // 计算句子概率
    let sentence = "हे एक चाचणी वाक्य आहे";
    let prob = loaded_model.sentence_probability(sentence);
    println!("Sentence probability: {}", prob);
}

4. 文本分类

use lingua_marathi_language_model::classifier::MarathiTextClassifier;

fn main() {
    // 初始化分类器
    let mut classifier = MarathiTextClassifier::new();
    
    // 训练分类器
    let train_data = vec![
        ("मला हा चित्रपट आवडला", "positive"),
        ("हा चित्रपट खूप वाईट होता", "negative"),
        // 更多训练数据...
    ];
    classifier.train(train_data).unwrap();
    
    // 预测文本类别
    let text = "हा चित्रपट मध्यम प्रतीचा होता";
    let prediction = classifier.predict(text);
    println!("Predicted sentiment: {}", prediction);
}

高级功能

自定义模型训练

use lingua_marathi_language_model::lm::{MarathiLanguageModel, TrainConfig};

fn advanced_training() {
    let config = TrainConfig {
        ngram_order: 4,
        smoothing: Some("modified_kneser_ney".to_string()),
        min_count: 2,
        prune: Some(0.1),
        // 其他高级参数...
    };
    
    let mut model = MarathiLanguageModel::new(config);
    
    // 自定义预处理
    model.set_preprocessor(|text| {
        // 自定义文本预处理逻辑
        text.to_lowercase()
    });
    
    model.train_from_files(&["corpus1.txt", "corpus2.txt"]).unwrap();
}

评估模型性能

use lingua_marathi_language_model::lm::MarathiLanguageModel;

fn evaluate_model() {
    let model = MarathiLanguageModel::load("marathi_lm.bin").unwrap();
    
    // 在测试集上评估
    let perplexity = model.perplexity("test_corpus.txt").unwrap();
    println!("Model perplexity: {}", perplexity);
    
    // 交叉验证
    let scores = model.cross_validate("data", 5).unwrap();
    println!("Cross-validation scores: {:?}", scores);
}

注意事项

1. 确保使用UTF-8编码处理马拉地语文本
2. 对于大型语料库，训练可能需要较多内存
3. 马拉地语有复杂的形态变化，某些任务可能需要额外预处理

完整示例

以下是一个完整的马拉地语NLP处理流程示例，结合了分词、词性标注和文本分类：

use lingua_marathi_language_model::{
    tokenizer::MarathiTokenizer,
    pos_tagger::MarathiPosTagger,
    classifier::MarathiTextClassifier
};

fn main() {
    // 示例马拉地语文本
    let text = "मुंबईतील प्रवास खूप छान होता";
    
    // 1. 分词
    let tokenizer = MarathiTokenizer::new();
    let tokens = tokenizer.tokenize(text);
    println!("分词结果: {:?}", tokens);
    
    // 2. 词性标注
    let tagger = MarathiPosTagger::new();
    let tagged = tagger.tag(text);
    println!("\n词性标注结果:");
    for (word, pos) in tagged {
        println!("{}: {}", word, pos);
    }
    
    // 3. 情感分析
    let mut classifier = MarathiTextClassifier::new();
    
    // 训练数据
    let train_data = vec![
        ("माझा प्रवास छान होता", "positive"),
        ("हा प्रवास वाईट होता", "negative"),
        ("मुंबई खूप सुंदर आहे", "positive"),
        ("पावसामुळे प्रवास वाईट झाला", "negative"),
    ];
    
    // 训练分类器
    classifier.train(train_data).unwrap();
    
    // 预测情感
    let prediction = classifier.predict(text);
    println!("\n预测情感: {}", prediction);
}

这个示例展示了如何使用lingua-marathi-language-model库进行完整的马拉地语文本处理流程，从基础的分词到更高级的情感分析任务。