Lindera ko-dic Builder

ko-dic词典构建器，用于Lindera韩语形态分析器。

词典版本

该仓库包含mecab-ko-dic韩语词典数据。

词典格式

有关mecab-ko-dic使用的词典格式和词性标签的信息，请参考相关文档。

用户词典格式(CSV)

简单版本

详细版本

完整示例代码

以下是内容中提供的示例代码：

// 词典构建示例
use lindera_ko_dic_builder::build;
use std::path::PathBuf;

fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 设置输入和输出目录路径
    let input_dir = PathBuf::from("path/to/mecab-ko-dic");
    let output_dir = PathBuf::from("path/to/output");
    
    // 构建词典
    build(&input_dir, &output_dir)?;
    
    println!("词典构建完成，输出到: {:?}", output_dir);
    
    Ok(())
}

// 分词使用示例
use lindera::tokenizer::{Tokenizer, TokenizerConfig};
use lindera_core::LinderaResult;

fn main() -> LinderaResult<()> {
    // 配置分词器使用韩语词典
    let config = TokenizerConfig {
        dictionary: TokenizerConfig::load_kodic("path/to/output")?,
        user_dictionary: None,
        mode: lindera::tokenizer::Mode::Normal,
    };
    
    // 创建分词器实例
    let tokenizer = Tokenizer::with_config(config)?;
    
    // 分词示例
    let text = "안녕하세요 Rust로 한국어 처리 테스트 중입니다";
    let tokens = tokenizer.tokenize(text)?;
    
    println!("分词结果:");
    for token in tokens {
        println!("{} ({})", token.text, token.detail.join(", "));
    }
    
    Ok(())
}

扩展完整示例

以下是一个更完整的示例，展示如何从构建词典到实际使用的完整流程：

// 完整工作流程示例
use lindera_ko_dic_builder::build;
use lindera::tokenizer::{Tokenizer, TokenizerConfig};
use lindera_core::LinderaResult;
use std::path::PathBuf;

// 1. 构建词典函数
fn build_dictionary() -> Result<PathBuf, Box<dyn std::error::Error>> {
    // 设置路径 - 实际使用时应替换为真实路径
    let input_dir = PathBuf::from("./mecab-ko-dic");
    let output_dir = PathBuf::from("./lindera-ko-dic");
    
    // 构建词典
    build(&input_dir, &output_dir)?;
    
    println!("词典构建完成，位于: {:?}", output_dir);
    Ok(output_dir)
}

// 2. 使用词典进行分词
fn tokenize_text(dict_path: &PathBuf) -> LinderaResult<()> {
    // 配置分词器
    let config = TokenizerConfig {
        dictionary: TokenizerConfig::load_kodic(dict_path)?,
        user_dictionary: None,
        mode: lindera::tokenizer::Mode::Normal,
    };
    
    // 初始化分词器
    let tokenizer = Tokenizer::with_config(config)?;
    
    // 待分词文本
    let texts = vec![
        "안녕하세요 Rust로 한국어 처리 테스트 중입니다",
        "대한민국은 아름다운 나라입니다",
        "이 프로그램은 Lindera를 사용합니다"
    ];
    
    // 分词并输出结果
    for text in texts {
        println!("原文: {}", text);
        let tokens = tokenizer.tokenize(text)?;
        for token in tokens {
            println!("- {} ({} | {})", 
                token.text, 
                token.detail[0],  // 词性
                token.detail[7]   // 读音
            );
        }
        println!();
    }
    
    Ok(())
}

// 主函数
fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 1. 构建词典
    let dict_path = build_dictionary()?;
    
    // 2. 使用词典分词
    tokenize_text(&dict_path)?;
    
    Ok(())
}

这个完整示例展示了：

1. 从源数据构建韩语词典
2. 初始化分词器并使用构建的词典
3. 对多个韩语句子进行分词处理
4. 输出分词结果和词性信息

注意：

• 需要提前准备好mecab-ko-dic源数据
• 实际路径需要根据项目结构调整
• 示例包含了错误处理和详细的输出信息