Flutter TikTok API访问插件flutter_tiktoken的使用

Flutter TikTok API访问插件flutter_tiktoken的使用

flutter_tiktoken介绍

flutter_tiktoken 是一个用于Flutter平台的离线包，提供了一个快速的BPE（Byte Pair Encoding）分词器，主要用于OpenAI模型。这个包是基于mvitlov/tiktoken的一个副本，并修复了在release模式下构建时花费过多时间的问题（超过一小时）。

以下是OpenAI官方计算和flutter_tiktoken计算结果的对比图：

Open Ai Official Calcuate	flutter_tiktoken

使用方法

初始化 flutter_tiktoken

在应用程序启动时，需要初始化flutter_tiktoken。

void main() async {
  WidgetsFlutterBinding.ensureInitialized(); // 确保Flutter绑定已初始化
  await TiktokenDataProcessCenter().initata(); // 初始化flutter_tiktoken数据处理中心
  runApp(const MyApp()); // 启动应用程序
}

计算Token数量

通过调用 _calcuateTokens 方法来计算给定文本的Token数量。

static int _calcuateTokens(
      {required String text, String modelName = 'gpt-4'}) {
    final encoding = encodingForModel(modelName); // 获取指定模型的编码
    final numTokens = encoding.encode(text).length; // 编码文本并获取Token长度
    return numTokens; // 返回Token数量
}

完整示例Demo

以下是一个完整的Flutter应用程序示例，展示了如何使用flutter_tiktoken插件来计算输入文本的Token数量。

import 'package:flutter/cupertino.dart';
import 'package:flutter/material.dart';
import 'package:flutter_tiktoken/flutter_tiktoken.dart';

void main() async {
  WidgetsFlutterBinding.ensureInitialized(); // 确保Flutter绑定已初始化
  await TiktokenDataProcessCenter().initata(); // 初始化flutter_tiktoken数据处理中心
  runApp(const MyApp()); // 启动应用程序
}

class MyApp extends StatelessWidget {
  const MyApp({super.key});

  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      title: 'Flutter Demo',
      theme: ThemeData(
        primarySwatch: Colors.blue, // 主题颜色为蓝色
      ),
      home: const MyHomePage(title: 'Flutter Demo Home Page'), // 设置首页
    );
  }
}

class MyHomePage extends StatefulWidget {
  const MyHomePage({super.key, required this.title});

  final String title;

  [@override](/user/override)
  State<MyHomePage> createState() => _MyHomePageState();
}

class _MyHomePageState extends State<MyHomePage> {
  int _counter = 0;
  var textController = TextEditingController();

  [@override](/user/override)
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text(widget.title), // 设置应用栏标题
      ),
      body: Padding(
        padding: const EdgeInsets.all(15),
        child: Column(
          crossAxisAlignment: CrossAxisAlignment.start,
          mainAxisAlignment: MainAxisAlignment.start,
          children: <Widget>[
            const Text('GPT-3 or GPT-4'), // 提示文本
            const SizedBox(height: 15), // 垂直间距
            SizedBox(
              width: double.infinity,
              height: 200,
              child: CupertinoTextField(
                style: const TextStyle(fontSize: 15), // 输入框样式
                textAlignVertical: TextAlignVertical.top,
                textAlign: TextAlign.start,
                placeholderStyle: const TextStyle(fontSize: 15, color: CupertinoColors.placeholderText),
                placeholder: 'Enter some things', // 输入提示
                maxLines: 20,
                controller: textController, // 控制器
                onSubmitted: (v) { // 输入提交事件
                  if (v.isEmpty) {
                    return;
                  }
                  setState(() {
                    _counter = _calcuateTokens(text: v); // 计算Token数量
                  });
                },
              ),
            ),
            const SizedBox(height: 15), // 垂直间距
            Row(
              mainAxisAlignment: MainAxisAlignment.spaceBetween,
              crossAxisAlignment: CrossAxisAlignment.center,
              children: [
                Text('Tokens: $_counter', style: Theme.of(context).textTheme.headlineMedium), // 显示Token数量
                CupertinoButton(
                    child: const Text('Calcuate'), // 按钮文本
                    onPressed: () {
                      var v = textController.text; // 获取输入框内容
                      if (v.isEmpty) {
                        return;
                      }
                      setState(() {
                        _counter = _calcuateTokens(text: v); // 计算Token数量
                      });
                    })
              ],
            ),
          ],
        ),
      ),
    );
  }

  static int _calcuateTokens(
      {required String text, String modelName = 'gpt-4'}) {
    final encoding = encodingForModel(modelName); // 获取指定模型的编码
    final numTokens = encoding.encode(text).length; // 编码文本并获取Token长度
    return numTokens; // 返回Token数量
  }
}