Flutter文本分词插件flutter_gpt_tokenizer的使用

flutter_gpt_tokenizer 是一个帮助你在发送请求到OpenAI之前计算你的ChatGPT提示所需token数量的Flutter插件。它基于OpenAI的tiktoken文件和BPE算法实现，尽管不是官方版本。

功能

1. encode 你的提示并返回编码后的字节。
2. count 计算提示中的token数量但不返回编码后的字节。
3. decode 将编码后的token解码为原始提示。

使用方法

加载和缓存tiktoken文件

首次使用 Tokenizer() 时，会尝试从OpenAI的公共端点加载并缓存特定模型名称的tiktoken文件。

初始化实例BPEWrapper

如果在 Tokenizer() 中找不到特定模型名称的 BPEWrapper 实例，则会在Rust侧读取其tiktoken文件，并构造一个该模型的 BPEWrapper 实例。

示例代码

以下是一个完整的示例应用程序，展示如何使用 flutter_gpt_tokenizer 进行文本编码、计数和解码。

import 'dart:typed_data';
import 'package:flutter/material.dart';
import 'package:flutter_gpt_tokenizer/flutter_gpt_tokenizer.dart';

void main() {
  runApp(const MyApp());
}

class MyApp extends StatefulWidget {
  const MyApp({super.key});

  @override
  State<MyApp> createState() => _MyAppState();
}

class _MyAppState extends State<MyApp> {
  final TextEditingController _controller = TextEditingController();

  @override
  void dispose() {
    _controller.dispose();
    Tokenizer().dispose();
    super.dispose();
  }

  List<int>? _encoded;
  String? _decoded;
  int? _count;

  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      home: Scaffold(
        appBar: AppBar(
          title: const Text('Native Packages'),
        ),
        body: SingleChildScrollView(
          child: Container(
            padding: const EdgeInsets.all(10),
            child: Column(
              children: [
                TextField(
                  controller: _controller,
                  decoration: InputDecoration(
                    border: const OutlineInputBorder(),
                    labelText: 'Text',
                    hintText: "Enter your prompt here",
                    suffixIcon: _buildModelSelector(),
                  ),
                ),
                const SizedBox(height: 10),
                if (_encoded != null)
                  Text(
                    'Encoded: ${_encoded!.toList()}',
                    style: const TextStyle(fontSize: 20),
                  ),
                if (_decoded != null)
                  Text(
                    'Decoded: $_decoded',
                    style: const TextStyle(fontSize: 20),
                  ),
                if (_count != null)
                  Text(
                    'Count: $_count',
                    style: const TextStyle(fontSize: 20),
                  ),
              ],
            ),
          ),
        ),
        floatingActionButton: FloatingActionButton(
          onPressed: _encode,
          child: const Text(
            'Encode',
            style: TextStyle(fontSize: 12),
          ),
        ),
      ),
    );
  }

  void _encode() async {
    final text = _controller.text;
    Tokenizer()
        .encode(
      text,
      modelName: _currentModel,
    )
        .then((encoded) async {
      print("Encoded: $encoded");
      final decoded = await Tokenizer()
          .decode(Uint32List.fromList(encoded), modelName: _currentModel);

      final count = await Tokenizer().count(
        text,
        modelName: _currentModel,
      );

      setState(() {
        _encoded = encoded;
        _decoded = decoded;
        _count = count;
      });
    });

    Tokenizer().encode("$text, copy", modelName: _currentModel).then((encoded) {
      print("Encoded copy: $encoded");
    });
  }

  String _currentModel = "gpt-4";

  Widget _buildModelSelector() {
    return DropdownButton<String>(
      value: _currentModel,
      items: const [
        DropdownMenuItem(
          value: "gpt-4",
          child: Text("gpt-4"),
        ),
        DropdownMenuItem(
          value: "gpt-3.5-turbo",
          child: Text("gpt-3.5-turbo"),
        ),
        DropdownMenuItem(
          value: "text-davinci-003",
          child: Text("text-davinci-003"),
        ),
        DropdownMenuItem(
          value: "text-davinci-edit-001",
          child: Text("text-davinci-edit-001"),
        ),
        DropdownMenuItem(
          value: "davinci",
          child: Text("davinci"),
        ),
      ],
      onChanged: (value) async {
        if (value == null) return;

        print("set tokenizer for: $value");
        setState(() {
          _currentModel = value;
        });
      },
    );
  }
}

注意事项

• 如果你只想知道提示的token长度，最好使用 Tokenizer().count。
• 确保在不再需要使用 Tokenizer 时调用 Tokenizer().dispose() 以释放资源。

支持的模型

支持的模型包括但不限于 gpt-4, gpt-3.5-turbo, text-davinci-003 等。

这个Markdown文档详细描述了如何使用 `flutter_gpt_tokenizer` 插件来对文本进行分词处理，并提供了完整的示例代码以便开发者快速上手。