Flutter图像标签识别插件ml_kit_image_labeler的使用

Flutter图像标签识别插件ml_kit_image_labeler的使用

该插件提供了原生的ML Kit ImageLabeler API。

需求

Android

• 设置 minSdkVersion 21 在 android/app/build.gradle
• 添加 <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ica" /> 到 android/src/main/AndroidManifest.xml
• 注意：如果使用多个模型，用逗号分隔它们 <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ica,ocr" />
• 设置 ext.kotlin_version = '1.6.10' 在 android/build.gradle
• 应用大小影响：700KB（使用未捆绑模型，在首次启动应用时通过Google Play服务下载模型），详情见此处

iOS

• 最低iOS部署目标：10.0
• Xcode 12.5.1或更高版本。
• ML Kit仅支持64位架构（x86_64和arm64）。查看此列表以确认设备是否具备所需架构。
• 由于ML Kit不支持32位架构（i386和armv7），了解更多，你需要在Xcode中排除armv7架构来构建iOS应用，详情见此处

使用方法

// 创建一个[MlKitImageLabeler]实例
final imageLabeler = MlKitImageLabeler();

//...
// 使用图像选择器选择图像
//...

// 调用`processImage()`并传递参数为`InputImage`（详见示例）
final labels = await imageLabeler.processImage(InputImage.fromFilePath(image.path));

String predictedLabels = '';

// 遍历标签
for (var label in labels) {
  predictedLabels += '\n${label.label} ${(label.confidence * 100).toStringAsPrecision(2)}%';
}

该插件基本上是google_ml_kit的一个简化版。由于google_ml_kit包含了所有NLP和Vision API，应用程序的大小会大幅增加。因此，我创建了这个插件，现在示例应用的完整APK大小为17MB，分割后的APK大小为6MB。

完整示例

以下是一个完整的示例代码，展示了如何使用ml_kit_image_labeler插件进行图像标签识别：

import 'dart:io';

import 'package:flutter/material.dart';

import 'package:image_picker/image_picker.dart';

import 'package:ml_kit_image_labeler/ml_kit_image_labeler.dart';

void main() {
  WidgetsFlutterBinding.ensureInitialized();
  runApp(const MyApp());
}

class MyApp extends StatefulWidget {
  const MyApp({Key? key}) : super(key: key);

  [@override](/user/override)
  State<MyApp> createState() => _MyAppState();
}

class _MyAppState extends State<MyApp> {
  XFile? image;
  String predictedLabels = '';
  String timeElapsed = '';
  bool isProcessing = false;

  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      home: Scaffold(
        appBar: AppBar(
          title: const Text('MLKit图像标签识别示例'),
        ),
        body: ListView(
          physics: const ClampingScrollPhysics(),
          children: [
            const SizedBox(height: 20),
            if (image != null)
              SizedBox(
                height: 200,
                width: 200,
                child: InteractiveViewer(
                  child: Image.file(
                    File(image!.path),
                    fit: BoxFit.contain,
                  ),
                ),
              ),
            const SizedBox(height: 20),
            if (predictedLabels.isNotEmpty)
              Padding(
                padding: const EdgeInsets.all(8.0),
                child: SelectableText('预测标签: $predictedLabels'),
              ),
            if (timeElapsed.isNotEmpty)
              Padding(
                padding: const EdgeInsets.all(8.0),
                child: Text('处理时间: $timeElapsed ms'),
              ),
            const SizedBox(height: 20),
            Row(
              mainAxisAlignment: MainAxisAlignment.spaceAround,
              children: [
                ElevatedButton(
                  onPressed: () async {
                    image = await ImagePicker().pickImage(source: ImageSource.gallery);
                    predictedLabels = '';
                    timeElapsed = '';
                    setState(() {});
                  },
                  child: const Text('选择图像'),
                ),
                if (image != null)
                  isProcessing
                      ? const Center(
                          child: CircularProgressIndicator.adaptive(),
                        )
                      : ElevatedButton(
                          onPressed: () async {
                            final imageLabeler = MlKitImageLabeler();
                            final stopwatch = Stopwatch()..start();
                            predictedLabels = '';
                            isProcessing = true;
                            setState(() {});

                            final labels = await imageLabeler.processImage(
                                InputImage.fromFilePath(image!.path));

                            timeElapsed = stopwatch.elapsedMilliseconds.toString();

                            isProcessing = false;

                            for (var label in labels) {
                              predictedLabels += '\n${label.label} ${(label.confidence * 100).toStringAsPrecision(4)}%';
                            }
                            stopwatch.reset();
                            stopwatch.stop();

                            setState(() {});
                          },
                          child: const Text('从图像中预测'),
                        ),
              ],
            ),
          ],
        ),
      ),
    );
  }
}