Rust词典生成库dictgen使用指南

概述

dictgen是一个高效的Rust词库生成与字典数据处理库，专为需要处理大量词汇数据的应用场景设计。它提供了词库生成、字典数据处理和高效查询等功能。

安装

在Cargo.toml中添加依赖：

[dependencies]
dictgen = "0.3.0"

基本使用方法

1. 创建字典生成器

use dictgen::DictBuilder;

let mut builder = DictBuilder::new();

2. 添加词汇

builder.insert("apple", "苹果");
builder.insert("banana", "香蕉");
builder.insert("orange", "橙子");

3. 构建字典

let dict = builder.build();

4. 查询字典

if let Some(translation) = dict.get("apple") {
    println!("apple 的翻译是: {}", translation);
}

高级功能

批量插入词汇

use dictgen::DictBuilder;

let entries = vec![
    ("hello", "你好"),
    ("world", "世界"),
    ("rust", "锈"),
];

let dict = DictBuilder::from_iter(entries.into_iter());

前缀搜索

let results: Vec<_> = dict.prefix_search("app").collect();
println!("以'app'开头的词汇: {:?}", results);

字典序列化

// 序列化为字节
let bytes = dict.serialize();

// 从字节反序列化
let dict = dictgen::Dictionary::deserialize(&bytes).unwrap();

性能优化选项

let mut builder = DictBuilder::new()
    .with_capacity(10000)  // 预分配空间
    .with_fast_build(true);  // 启用快速构建模式

// 添加大量词汇...

完整示例

use dictgen::DictBuilder;

fn main() {
    // 创建字典生成器
    let mut builder = DictBuilder::new();
    
    // 添加词汇
    builder.insert("algorithm", "算法");
    builder.insert("binary", "二进制");
    builder.insert("compile", "编译");
    builder.insert("debug", "调试");
    
    // 构建字典
    let dict = builder.build();
    
    // 查询
    if let Some(meaning) = dict.get("compile") {
        println!("compile 的意思是: {}", meaning);
    }
    
    // 前缀搜索
    println!("以'b'开头的词汇:");
    for (word, _) in dict.prefix_search("b") {
        println!("- {}", word);
    }
    
    // 序列化保存
    let bytes = dict.serialize();
    // 这里可以将bytes保存到文件或数据库
    
    // 反序列化
    let loaded_dict = dictgen::Dictionary::deserialize(&bytes).unwrap();
    println!("加载的字典包含 {} 个词条", loaded_dict.len());
}

性能特点

1. 高效构建：使用优化的数据结构，构建大型词典速度快
2. 低内存占用：压缩存储形式，减少内存使用
3. 快速查询：基于trie的查询结构，查询速度快
4. 前缀搜索：支持高效的前缀匹配搜索

dictgen特别适合需要处理大量词汇数据的应用，如自然语言处理、拼写检查、输入法词库等场景。

完整示例demo

下面是一个更完整的dictgen使用示例，展示了从创建字典到保存和加载的全过程：

use dictgen::DictBuilder;
use std::fs;

fn main() {
    // 1. 创建字典生成器并预分配空间
    let mut builder = DictBuilder::new()
        .with_capacity(1000)  // 预分配1000个词条的空间
        .with_fast_build(true);  // 启用快速构建模式

    // 2. 添加词汇(中英双语示例)
    builder.insert("computer", "计算机");
    builder.insert("keyboard", "键盘");
    builder.insert("mouse", "鼠标");
    builder.insert("monitor", "显示器");
    builder.insert("printer", "打印机");
    
    // 3. 批量添加词汇
    let batch_entries = vec![
        ("network", "网络"),
        ("server", "服务器"),
        ("client", "客户端"),
        ("database", "数据库"),
    ];
    for (word, translation) in batch_entries {
        builder.insert(word, translation);
    }

    // 4. 构建字典
    let dict = builder.build();
    
    // 5. 查询示例
    println!("=== 查询示例 ===");
    if let Some(trans) = dict.get("server") {
        println!("server 的翻译是: {}", trans);
    } else {
        println!("server 未找到");
    }

    // 6. 前缀搜索示例
    println!("\n=== 前缀搜索(m开头) ===");
    for (word, _) in dict.prefix_search("m") {
        println!("找到: {}", word);
    }

    // 7. 序列化字典到文件
    println!("\n=== 序列化字典 ===");
    let bytes = dict.serialize();
    fs::write("dict.bin", &bytes).expect("写入文件失败");
    println!("字典已保存到 dict.bin 文件");

    // 8. 从文件加载字典
    println!("\n=== 反序列化字典 ===");
    let loaded_bytes = fs::read("dict.bin").expect("读取文件失败");
    let loaded_dict = dictgen::Dictionary::deserialize(&loaded_bytes).unwrap();
    
    // 验证加载的字典
    println!("加载的字典包含 {} 个词条", loaded_dict.len());
    if let Some(trans) = loaded_dict.get("printer") {
        println!("printer 的翻译是: {}", trans);
    }
    
    // 9. 性能测试
    println!("\n=== 性能测试 ===");
    let start = std::time::Instant::now();
    for _ in 0..1000 {
        let _ = loaded_dict.get("keyboard");
    }
    println!("1000次查询耗时: {:?}", start.elapsed());
}

这个完整示例演示了：

1. 字典创建和配置优化选项
2. 单个和批量添加词汇
3. 字典查询和前缀搜索
4. 序列化到文件和从文件加载
5. 简单的性能测试

您可以根据实际需求调整示例代码，比如添加更多词汇或实现更复杂的查询逻辑。