根据您提供的内容，我将整理Lindera-decompress分词库的使用方法，并给出完整示例代码。

Rust分词库Lindera-decompress的使用：高效文本解压与分词处理插件

完整示例代码

以下是结合所有功能的完整示例，展示了Lindera-decompress的主要用法：

use lindera::tokenizer::{Tokenizer, TokenizerConfig};
use lindera::mode::Mode;
use lindera::LinderaResult;

fn main() -> LinderaResult<()> {
    // 示例1：使用内置词典分词
    println!("=== 示例1：使用内置词典分词 ===");
    example_builtin_dictionary()?;
    
    // 示例2：使用自定义词典路径
    println!("\n=== 示例2：使用自定义词典路径 ===");
    example_custom_dictionary_path()?;
    
    // 示例3：使用不同分词模式
    println!("\n=== 示例3：使用不同分词模式 ===");
    example_different_modes()?;
    
    // 示例4：使用用户自定义词典
    println!("\n=== 示例4：使用用户自定义词典 ===");
    example_user_dictionary()?;
    
    Ok(())
}

// 示例1：使用内置词典分词
fn example_builtin_dictionary() -> LinderaResult<()> {
    // 初始化分词器(使用内置压缩词典)
    let tokenizer = Tokenizer::new()?;
    
    // 中文分词示例
    let text_ch = "Rust是一种系统编程语言，由Mozilla开发。";
    println!("中文分词结果:");
    for token in tokenizer.tokenize(text_ch)? {
        println!("{}", token.text);
    }
    
    // 日文分词示例
    let text_jp = "日本語の文章を分かち書きします。";
    println!("\n日文分词结果:");
    for token in tokenizer.tokenize(text_jp)? {
        println!("{}", token.text);
    }
    
    Ok(())
}

// 示例2：使用自定义词典路径
fn example_custom_dictionary_path() -> LinderaResult<()> {
    // 指定词典路径(请替换为实际路径)
    let dictionary_path = "./lindera-ipadic-2.7.0";
    
    // 使用自定义词典初始化分词器
    let tokenizer = Tokenizer::with_dictionary(dictionary_path, Mode::Normal)?;
    
    // 分词处理
    let text = "東京特許許可局局長は昨日ミーティングに参加しました。";
    println!("分词结果:");
    for token in tokenizer.tokenize(text)? {
        println!("{}: {:?}", token.text, token.detail);
    }
    
    Ok(())
}

// 示例3：使用不同分词模式
fn example_different_modes() -> LinderaResult<()> {
    // 注意：以下示例需要替换为实际词典路径
    let dictionary_path = "./lindera-ipadic-2.7.0";
    let text = "関西国際空港";
    
    // 正常模式
    let tokenizer_normal = Tokenizer::with_dictionary(dictionary_path, Mode::Normal)?;
    println!("正常模式:");
    for token in tokenizer_normal.tokenize(text)? {
        println!("{}", token.text);
    }
    
    // 分解模式
    let tokenizer_decompose = Tokenizer::with_dictionary(dictionary_path, Mode::Decompose)?;
    println!("\n分解模式:");
    for token in tokenizer_decompose.tokenize(text)? {
        println!("{}", token.text);
    }
    
    // 扩展模式
    let tokenizer_extended = Tokenizer::with_dictionary(dictionary_path, Mode::Extended)?;
    println!("\n扩展模式:");
    for token in tokenizer_extended.tokenize(text)? {
        println!("{}", token.text);
    }
    
    Ok(())
}

// 示例4：使用用户自定义词典
fn example_user_dictionary() -> LinderaResult<()> {
    // 配置分词器(请替换为实际路径)
    let config = TokenizerConfig {
        dictionary_path: "./lindera-ipadic-2.7.0",
        user_dictionary_path: Some("./user_dict.csv"),
        mode: Mode::Normal,
        ..Default::default()
    };
    
    let tokenizer = Tokenizer::with_config(config)?;
    
    // 包含自定义词汇的文本
    let text = "这是一个自定义词汇的例子，测试新词'Rust语言'和'深度学习'";
    println!("使用用户自定义词典的分词结果:");
    for token in tokenizer.tokenize(text)? {
        println!("{}", token.text);
    }
    
    Ok(())
}

代码说明

1. 初始化分词器：

   • Tokenizer::new() 使用内置压缩词典
   • Tokenizer::with_dictionary() 使用自定义词典路径
   • Tokenizer::with_config() 使用详细配置

2. 分词模式：

   • Mode::Normal - 正常模式(默认)
   • Mode::Decompose - 分解模式(只分解不查询词典)
   • Mode::Extended - 扩展模式(尝试组合未知词)

3. 用户词典：

   • 通过TokenizerConfig配置用户词典路径
   • 用户词典文件格式通常为CSV

4. 多语言支持：

   • 示例展示了中文和日文的分词处理

使用建议

1. 对于生产环境，建议将词典文件放在项目目录中或固定路径
2. 复用Tokenizer实例以提高性能
3. 根据实际需求选择合适的分词模式
4. 对于专业术语或新词，使用用户词典可以提高分词准确性

这个完整示例展示了Lindera-decompress分词库的主要功能，您可以根据实际需求调整和扩展。