Rust FFI不透明类型库ffi-opaque的使用:实现安全的跨语言接口与数据隐藏

Rust FFI不透明类型库ffi-opaque的使用:实现安全的跨语言接口与数据隐藏

什么是ffi-opaque

一个生成正确不透明类型的宏。

它的作用

在RFC 1861(外部类型)实现之前,在Rust中表示不透明结构体很困难,正如相应的Nomicon部分所述。

然而,不透明结构体是一种常见模式,特别是在通过FFI与C代码库一起工作时。

ffi-opaque提供了opaque!宏,可以正确生成这些类型,而无需考虑细节。

此宏生成的类型:

  • 不能在定义它们的模块之外构造
  • 确保正确的指针对齐
  • !Send!Sync!Unpin
  • 是FFI安全的

简而言之,它们尽可能接近地匹配外部类型的行为,正如目前在rustc中实现的那样。

当前差异:

  • 生成的类型大小为0(而不是未调整大小)
  • 生成的类型对齐为1(而不是未调整大小)
  • 可以在它们上调用size_of_valalign_of_val

使用示例

考虑来自leveldb C API的这个示例:

typedef struct leveldb_options_t leveldb_options_t;
typedef struct leveldb_writeoptions_t leveldb_writeoptions_t;

leveldb_options_t* leveldb_options_create();
leveldb_writeoptions_t* leveldb_writeoptions_create();

它使用不透明结构体来避免将其数据库选项的结构细节泄漏到链接到它的库。我们可以像这样在Rust端表示不透明结构体:

use ffi_opaque::opaque;

opaque! {
    /// 文档有效!
    pub struct leveldb_options_t;
    /// 写入数据时使用的选项
    pub struct leveldb_writeoptions_t;
}

extern "C" {
    pub fn leveldb_options_create() -> *mut leveldb_options_t;
    pub fn leveldb_writeoptions_create() -> *mut leveldb_writeoptions_t;
}

可能的未来扩展

如果extern类型稳定,此宏可能会采用它们。

许可证

MIT,请参阅LICENSE文件。

致谢

  • David Tolnay (@dtolnay) 提高了对许多微妙问题的认识
  • Nikolai Vasquez (@nvzqz) 实现了最终类型和许多检查

完整示例代码

// 添加ffi-opaque依赖到Cargo.toml
// ffi-opaque = "2.0.1"

use ffi_opaque::opaque;

// 使用opaque!宏定义不透明类型
opaque! {
    /// 数据库选项类型
    pub struct leveldb_options_t;
    /// 写入选项类型
    pub struct leveldb_writeoptions_t;
}

// 声明外部C函数
extern "C" {
    pub fn leveldb_options_create() -> *mut leveldb_options_t;
    pub fn leveldb_writeoptions_create() -> *mut leveldb_writeoptions_t;
    pub fn leveldb_options_destroy(options: *mut leveldb_options_t);
    pub fn leveldb_writeoptions_destroy(options: *mut leveldb_writeoptions_t);
}

// 安全的Rust包装器
pub struct LevelDBOptions {
    ptr: *mut leveldb_options_t,
}

impl LevelDBOptions {
    pub fn new() -> Option<Self> {
        unsafe {
            let ptr = leveldb_options_create();
            if ptr.is_null() {
                None
            } else {
                Some(Self { ptr })
            }
        }
    }
}

impl Drop for LevelDBOptions {
    fn drop(&mut self) {
        unsafe {
            leveldb_options_destroy(self.ptr);
        }
    }
}

pub struct LevelDBWriteOptions {
    ptr: *mut leveldb_writeoptions_t,
}

impl LevelDBWriteOptions {
    pub fn new() -> Option<Self> {
        unsafe {
            let ptr = leveldb_writeoptions_create();
            if ptr.is_null() {
                None
            } else {
                Some(Self { ptr })
            }
        }
    }
}

impl Drop for LevelDBWriteOptions {
    fn drop(&mut self) {
        unsafe {
            leveldb_writeoptions_destroy(self.ptr);
        }
    }
}

// 示例使用
fn main() {
    let options = LevelDBOptions::new().expect("Failed to create options");
    let write_options = LevelDBWriteOptions::new().expect("Failed to create write options");
    
    // 使用选项...
    println!("LevelDB options and write options created successfully");
}

完整示例demo

// Cargo.toml依赖配置
// [dependencies]
// ffi-opaque = "2.0.1"

use ffi_opaque::opaque;
use std::ptr;

// 定义不透明类型
opaque! {
    /// LevelDB数据库配置选项
    pub struct leveldb_options_t;
    /// LevelDB写入操作选项
    pub struct leveldb_writeoptions_t;
}

// 声明外部C函数接口
extern "C" {
    // 创建数据库选项
    pub fn leveldb_options_create() -> *mut leveldb_options_t;
    // 创建写入选项
    pub fn leveldb_writeoptions_create() -> *mut leveldb_writeoptions_t;
    // 销毁数据库选项
    pub fn leveldb_options_destroy(options: *mut leveldb_options_t);
    // 销毁写入选项
    pub fn leveldb_writeoptions_destroy(options: *mut leveldb_writeoptions_t);
    // 设置创建数据库时如果目录不存在是否创建
    pub fn leveldb_options_set_create_if_missing(options: *mut leveldb_options_t, value: u8);
    // 设置错误日志级别
    pub fn leveldb_options_set_info_log(options: *mut leveldb_options_t, log: *const std::os::raw::c_void);
}

// 安全的数据库选项包装器
pub struct LevelDBOptions {
    ptr: *mut leveldb_options_t,
}

impl LevelDBOptions {
    /// 创建新的LevelDB选项实例
    pub fn new() -> Option<Self> {
        unsafe {
            let ptr = leveldb_options_create();
            if ptr.is_null() {
                None
            } else {
                Some(Self { ptr })
            }
        }
    }

    /// 设置如果目录不存在时创建数据库
    pub fn set_create_if_missing(&mut self, create: bool) {
        unsafe {
            leveldb_options_set_create_if_missing(self.ptr, create as u8);
        }
    }

    /// 获取原始指针(用于FFI调用)
    pub fn as_ptr(&self) -> *mut leveldb_options_t {
        self.ptr
    }
}

impl Drop for LevelDBOptions {
    fn drop(&mut self) {
        unsafe {
            leveldb_options_destroy(self.ptr);
        }
    }
}

// 安全的写入选项包装器
pub struct LevelDBWriteOptions {
    ptr: *mut leveldb_writeoptions_t,
}

impl LevelDBWriteOptions {
    /// 创建新的写入选项实例
    pub fn new() -> Option<Self> {
        unsafe {
            let ptr = leveldb_writeoptions_create();
            if ptr.is_null() {
                None
            } else {
                Some(Self { ptr })
            }
        }
    }

    /// 获取原始指针(用于FFI调用)
    pub fn as_ptr(&self) -> *mut leveldb_writeoptions_t {
        self.ptr
    }
}

impl Drop for LevelDBWriteOptions {
    fn drop(&mut self) {
        unsafe {
            leveldb_writeoptions_destroy(self.ptr);
        }
    }
}

// 数据库操作结构体(示例)
pub struct LevelDB {
    options: LevelDBOptions,
    write_options: LevelDBWriteOptions,
}

impl LevelDB {
    /// 创建新的LevelDB实例
    pub fn new() -> Option<Self> {
        let options = LevelDBOptions::new()?;
        let write_options = LevelDBWriteOptions::new()?;
        
        // 配置默认选项
        options.set_create_if_missing(true);
        
        Some(Self {
            options,
            write_options,
        })
    }

    /// 获取数据库选项
    pub fn options(&self) -> &LevelDBOptions {
        &self.options
    }

    /// 获取写入选项
    pub fn write_options(&self) -> &LevelDBWriteOptions {
        &self.write_options
    }
}

// 主函数示例
fn main() {
    // 创建LevelDB实例
    let leveldb = LevelDB::new().expect("Failed to create LevelDB instance");
    
    // 使用选项进行数据库操作
    println!("LevelDB instance created successfully");
    println!("Using options: {:?}", leveldb.options().as_ptr());
    println!("Using write options: {:?}", leveldb.write_options().as_ptr());
    
    // 这里可以添加实际的数据库操作代码
    // 例如:打开数据库、写入数据、读取数据等
    
    println!("LevelDB demo completed successfully");
}

// 单元测试
#[cfg(test)]
mod tests {
    use super::*;

    #[test]
    fn test_options_creation() {
        let options = LevelDBOptions::new();
        assert!(options.is_some(), "Options should be created successfully");
        
        let write_options = LevelDBWriteOptions::new();
        assert!(write_options.is_some(), "Write options should be created successfully");
    }

    #[test]
    fn test_options_configuration() {
        let mut options = LevelDBOptions::new().unwrap();
        options.set_create_if_missing(true);
        // 配置选项生效
    }

    #[test]
    fn test_leveldb_creation() {
        let leveldb = LevelDB::new();
        assert!(leveldb.is_some(), "LevelDB instance should be created successfully");
    }
}

1 回复

Rust FFI不透明类型库ffi-opaque的使用指南

介绍

ffi-opaque是一个专门用于Rust FFI(外部函数接口)的库,它提供了安全的不透明类型实现。该库主要用于跨语言接口开发,通过隐藏内部数据结构的具体实现,确保外部代码只能通过预定义的接口与Rust代码交互,从而保证内存安全和数据封装。

主要特性

  • 类型安全的不透明指针包装
  • 自动内存管理
  • 防止数据泄露和非法访问
  • 简化FFI边界类型处理

安装方法

在Cargo.toml中添加依赖:

[dependencies]
ffi-opaque = "0.1"

基本使用方法

1. 定义不透明类型

use ffi_opaque::Opaque;

// 定义内部数据结构
struct MyData {
    value: i32,
    name: String,
}

// 创建不透明类型别名
type MyOpaque = Opaque<MyData>;

2. 创建和销毁函数

use std::os::raw::c_int;

#[no_mangle]
pub extern "C" fn my_data_create(value: c_int, name: *const libc::c_char) -> *mut MyOpaque {
    let name_str = unsafe { std::ffi::CStr::from_ptr(name).to_string_lossy().into_owned() };
    let data = MyData {
        value: value as i32,
        name: name_str,
    };
    MyOpaque::into_raw(Box::new(data))
}

#[no_mangle]
pub extern "C" fn my_data_destroy(ptr: *mut MyOpaque) {
    if ptr.is_null() {
        return;
    }
    unsafe {
        MyOpaque::from_raw(ptr);
    }
}

3. 访问器函数

#[no_mangle]
pub extern "C" fn my_data_get_value(ptr: *const MyOpaque) -> c_int {
    let data = unsafe { MyOpaque::borrow(ptr) };
    data.value as c_int
}

#[no_mangle]
pub extern "C" fn my_data_get_name(ptr: *const MyOpaque, buffer: *mut libc::c_char, length: libc::size_t) -> libc::size_t {
    let data = unsafe { MyOpaque::borrow(ptr) };
    let name_bytes = data.name.as_bytes();
    
    if length > 0 && !buffer.is_null() {
        let copy_len = std::cmp::min(name_bytes.len(), length - 1);
        unsafe {
            std::ptr::copy_nonoverlapping(name_bytes.as_ptr(), buffer as *mut u8, copy_len);
            *buffer.add(copy_len) = 0;
        }
    }
    
    name_bytes.len()
}

4. C语言端使用示例

#include <stdio.h>
#include <stdlib.h>

// 声明FFI函数
extern void* my_data_create(int value, const char* name);
extern void my_data_destroy(void* ptr);
extern int my_data_get_value(const void* ptr);
extern size_t my_data_get_name(const void* ptr, char* buffer, size_t length);

int main() {
    // 创建不透明对象
    void* data = my_data_create(42, "Test Data");
    
    // 获取值
    int value = my_data_get_value(data);
    printf("Value: %d\n", value);
    
    // 获取名称
    char buffer[256];
    size_t len = my_data_get_name(data, buffer, sizeof(buffer));
    printf("Name: %s (length: %zu)\n", buffer, len);
    
    // 清理
    my_data_destroy(data);
    
    return 0;
}

高级用法

错误处理

#[no_mangle]
pub extern "C" fn my_data_safe_operation(ptr: *mut MyOpaque) -> libc::c_int {
    let mut data = match unsafe { MyOpaque::borrow_mut(ptr) } {
        Some(d) => d,
        None => return -1, // 错误码
    };
    
    // 安全地修改数据
    data.value += 1;
    0 // 成功
}

线程安全保证

use std::sync::Arc;
use ffi_opaque::Opaque;

struct ThreadSafeData {
    counter: std::sync::Mutex<i32>,
}

type SafeOpaque = Opaque<Arc<ThreadSafeData>>;

#[no_mangle]
pub extern "C" fn thread_safe_increment(ptr: *mut SafeOpaque) {
    let data = unsafe { SafeOpaque::borrow(ptr) };
    let mut counter = data.counter.lock().unwrap();
    *counter += 1;
}

完整示例代码

Rust端完整实现 (lib.rs)

// 引入必要的库
use ffi_opaque::Opaque;
use std::os::raw::{c_int, c_char};
use std::ffi::CStr;
use libc;

// 定义内部数据结构
struct MyData {
    value: i32,
    name: String,
}

// 创建不透明类型别名
type MyOpaque = Opaque<MyData>;

// 创建函数:从C字符串创建MyData对象
#[no_mangle]
pub extern "C" fn my_data_create(value: c_int, name: *const c_char) -> *mut MyOpaque {
    // 将C字符串转换为Rust字符串
    let name_str = unsafe { 
        CStr::from_ptr(name).to_string_lossy().into_owned() 
    };
    
    // 创建MyData实例
    let data = MyData {
        value: value as i32,
        name: name_str,
    };
    
    // 将数据包装为不透明指针并返回
    MyOpaque::into_raw(Box::new(data))
}

// 销毁函数:释放MyData对象内存
#[no_mangle]
pub extern "C" fn my_data_destroy(ptr: *mut MyOpaque) {
    if ptr.is_null() {
        return;
    }
    unsafe {
        // 从原始指针重新获取所有权,离开作用域时自动释放
        MyOpaque::from_raw(ptr);
    }
}

// 获取值函数:返回MyData的value字段
#[no_mangle]
pub extern "C" fn my_data_get_value(ptr: *const MyOpaque) -> c_int {
    // 安全地借用数据
    let data = unsafe { MyOpaque::borrow(ptr) };
    data.value as c_int
}

// 获取名称函数:将名称复制到提供的缓冲区
#[no_mangle]
pub extern "C" fn my_data_get_name(
    ptr: *const MyOpaque, 
    buffer: *mut c_char, 
    length: libc::size_t
) -> libc::size_t {
    let data = unsafe { MyOpaque::borrow(ptr) };
    let name_bytes = data.name.as_bytes();
    
    // 如果提供了有效的缓冲区,复制数据
    if length > 0 && !buffer.is_null() {
        let copy_len = std::cmp::min(name_bytes.len(), length - 1);
        unsafe {
            // 复制字节数据
            std::ptr::copy_nonoverlapping(
                name_bytes.as_ptr(), 
                buffer as *mut u8, 
                copy_len
            );
            // 添加null终止符
            *buffer.add(copy_len) = 0;
        }
    }
    
    // 返回原始字符串长度
    name_bytes.len()
}

// 安全操作示例:修改数据并返回状态码
#[no_mangle]
pub extern "C" fn my_data_safe_operation(ptr: *mut MyOpaque) -> c_int {
    let mut data = match unsafe { MyOpaque::borrow_mut(ptr) } {
        Some(d) => d,
        None => return -1, // 错误码:空指针
    };
    
    // 安全地修改数据
    data.value += 1;
    0 // 成功
}

C语言端完整示例 (main.c)

#include <stdio.h>
#include <stdlib.h>

// 声明Rust FFI函数
extern void* my_data_create(int value, const char* name);
extern void my_data_destroy(void* ptr);
extern int my_data_get_value(const void* ptr);
extern size_t my_data_get_name(const void* ptr, char* buffer, size_t length);
extern int my_data_safe_operation(void* ptr);

int main() {
    printf("开始测试ffi-opaque库\n");
    
    // 创建不透明对象
    void* data = my_data_create(42, "测试数据");
    if (data == NULL) {
        printf("创建对象失败\n");
        return 1;
    }
    
    // 获取并显示值
    int value = my_data_get_value(data);
    printf("数值: %d\n", value);
    
    // 获取并显示名称
    char buffer[256];
    size_t len = my_data_get_name(data, buffer, sizeof(buffer));
    printf("名称: %s (长度: %zu)\n", buffer, len);
    
    // 执行安全操作
    int result = my_data_safe_operation(data);
    if (result == 0) {
        printf("安全操作执行成功\n");
        
        // 再次获取更新后的值
        value = my_data_get_value(data);
        printf("更新后的数值: %d\n", value);
    } else {
        printf("安全操作执行失败,错误码: %d\n", result);
    }
    
    // 清理资源
    my_data_destroy(data);
    printf("对象已销毁,程序结束\n");
    
    return 0;
}

Cargo.toml 配置

[package]
name = "ffi-opaque-demo"
version = "0.1.0"
edition = "2021"

[lib]
name = "ffi_opaque_demo"
crate-type = ["cdylib"]  # 编译为C动态库

[dependencies]
ffi-opaque = "0.1"
libc = "0.2"

编译和运行说明

  1. 编译Rust库:
cargo build --release
  1. 编译C程序 (Linux/macOS):
gcc -o demo main.c -L./target/release -lffi_opaque_demo
  1. 运行程序:
LD_LIBRARY_PATH=./target/release ./demo

注意事项

  1. 始终检查空指针,防止空指针解引用
  2. 确保正确的内存所有权管理,避免内存泄漏
  3. 为所有FFI函数提供完整的文档说明
  4. 考虑使用#[repr©]确保数据结构的内存布局兼容性
  5. 进行充分的边界测试,包括错误情况和边界值

ffi-opaque库通过提供类型安全的抽象,大大简化了Rust与C/C++等语言之间的互操作,同时保持了Rust的内存安全保证。

回到顶部