Flutter文本识别插件mediapipe_text的使用

一个用于使用MediaPipe Text API的Flutter插件，其中包含多个基于文本的Mediapipe任务。

要了解更多关于MediaPipe的信息，请访问MediaPipe网站。

开始使用

要开始使用MediaPipe，请参阅文档。

支持的任务

使用方法

要开始使用此插件，您必须处于master通道。 其次，您需要启用native-assets实验， 在使用$ dart命令行工具运行任何命令时，使用--enable-experiment=native-assets标志。

要在Flutter中全局启用此功能，请运行：

$ flutter config --enable-native-assets

要禁用此功能，请运行：

$ flutter config --no-enable-native-assets

添加依赖项

在pubspec.yaml文件中添加mediapipe_core和mediapipe_text依赖项：

dependencies:
  flutter:
    sdk: flutter
  mediapipe_core: latest
  mediapipe_text: latest

添加tflite模型

将必要的模型添加到您的assets目录中，以便为每个任务使用：

flutter:
  assets:
    - assets/bert_classifier.tflite
    - assets/language_detector.tflite
    - assets/universal_sentence_encoder.tflite

这些模型可以下载自以下位置：

• bert_classifier.tflite（用于文本分类）
• language_detector.tflite（用于语言检测）
• universal_sentence_encoder.tflite（用于文本嵌入）

初始化任务工作器

文本分类示例

import 'package:mediapipe_text/mediapipe_text.dart';

// 加载您的文本分类tflite模型到内存
ByteData? classifierBytes = await DefaultAssetBundle.of(context)
    .load('assets/bert_classifier.tflite');

// 创建一个 `TextClassifier`
final classifier = TextClassifier(
  TextClassifierOptions.fromAssetBuffer(
    classifierBytes.buffer.asUint8List(),
  ),
);

// 对一些文本进行分类！
final result = await classifier.classify('Hello, world!');
print(result.classifications.first);

语言检测示例

import 'package:mediapipe_text/mediapipe_text.dart';

// 加载您的语言检测tflite模型到内存
ByteData? bytes = await DefaultAssetBundle.of(context)
    .load('assets/language_detector.tflite');

// 创建一个 `LanguageDetector`
final detector = LanguageDetector(
  LanguageDetectorOptions.fromAssetBuffer(
    bytes.buffer.asUint8List(),
  ),
);

// 对一些文本进行语言检测！
final result = await detector.detect('Hello, world!');
print(result.predictions.first);

文本嵌入示例

import 'package:mediapipe_text/mediapipe_text.dart';

// 加载您的文本嵌入tflite模型到内存
ByteData? embedderBytes = await DefaultAssetBundle.of(context)
    .load('assets/universal_sentence_encoder.tflite');

// 创建一个 `TextEmbedder`
final embedder = TextEmbedder(
  TextEmbedderOptions.fromAssetBuffer(
    embedderBytes.buffer.asUint8List(),
  ),
);

// 对一些文本进行嵌入！
final result = await embedder.embed('Hello, world!');
final result2 = await embedder.embed('Hello, moon!');

// 比较结果
final similarity = embedder.cosineSimilarity(
  result.embeddings.first,
  result2.embeddings.first,
);

运行示例

要运行示例项目，请下载与您想要探索的任务相关的模型，并将它们放置在packages/mediapipe_task_text/example/assets目录中，然后在受支持的平台上运行项目。

问题反馈

请在我们的问题跟踪器中提交有关Flutter-MediaPipe的具体问题、错误或功能请求。

如果问题是特定于Flutter的，请在Flutter问题跟踪器中提交。

要向此插件贡献更改，请查看我们的贡献指南，并打开一个拉取请求。

示例代码

以下是完整的示例代码，您可以参考它来了解如何在Flutter应用中集成文本识别功能。

import 'package:flutter/material.dart';
import 'language_detection_demo.dart';
import 'logging.dart';
import 'text_classification_demo.dart';
import 'text_embedding_demo.dart';

void main() {
  initLogging();
  runApp(const MainApp());
}

class MainApp extends StatefulWidget {
  const MainApp({super.key});

  [@override](/user/override)
  State<MainApp> createState() => _MainAppState();
}

class _MainAppState extends State<MainApp> {
  [@override](/user/override)
  Widget build(BuildContext context) =>
      const MaterialApp(home: TextTaskPages());
}

class TextTaskPages extends StatefulWidget {
  const TextTaskPages({super.key});

  [@override](/user/override)
  State<TextTaskPages> createState() => TextTaskPagesState();
}

class TextTaskPagesState extends State<TextTaskPages> {
  final PageController controller = PageController();

  final titles = <String>['Classify', 'Embed', 'Detect Languages'];
  int titleIndex = 0;

  [@override](/user/override)
  void initState() {
    controller.addListener(() {
      final newIndex = controller.page?.toInt();
      if (newIndex != null && newIndex != titleIndex) {
        setState(() {
          titleIndex = newIndex;
        });
      }
    });
    super.initState();
  }

  void switchToPage(int index) {
    controller.animateToPage(
      index,
      duration: const Duration(milliseconds: 200),
      curve: Curves.easeOut,
    );
    setState(() {
      titleIndex = index;
    });
  }

  [@override](/user/override)
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(title: Text(titles[titleIndex])),
      body: PageView(
        controller: controller,
        children: const <Widget>[
          TextClassificationDemo(),
          TextEmbeddingDemo(),
          LanguageDetectionDemo(),
        ],
      ),
      bottomNavigationBar: BottomNavigationBar(
        currentIndex: titleIndex,
        onTap: switchToPage,
        items: const <BottomNavigationBarItem>[
          BottomNavigationBarItem(
            icon: Icon(Icons.search),
            activeIcon: Icon(Icons.search, color: Colors.blue),
            label: 'Classify',
          ),
          BottomNavigationBarItem(
            icon: Icon(Icons.arrow_downward),
            activeIcon: Icon(Icons.arrow_downward, color: Colors.blue),
            label: 'Embed',
          ),
          BottomNavigationBarItem(
            icon: Icon(Icons.flag),
            activeIcon: Icon(Icons.flag, color: Colors.blue),
            label: 'Detect Languages',
          ),
        ],
      ),
    );
  }
}