Flutter姿态检测插件google_mlkit_pose_detection的使用

Google’s ML Kit Pose Detection for Flutter

Flutter插件，用于使用Google的ML Kit姿态检测从连续视频或静态图像中实时检测主体的身体姿态。

重要提示

在继续或发布新的问题之前，请务必阅读以下内容：

• Google的ML Kit仅针对移动平台构建：iOS和Android应用。Web或其他平台不受支持，您可以在他们的仓库请求对这些平台的支持。
• 此插件不由Google赞助或维护。作者是热衷于机器学习的开发者，他们希望将Google的原生API暴露给Flutter。
• Google的ML Kit API仅针对iOS和Android原生开发。此插件使用Flutter平台通道（Platform Channels），如这里所述。
• 消息通过平台通道在客户端（应用程序/插件）和主机（平台）之间异步传递，以确保用户界面保持响应。有关平台通道的更多信息，请参阅这里。
• 由于此插件使用平台通道，所有机器学习处理都在原生平台上进行，而不是在Flutter/Dart中。所有的调用都通过MethodChannel（Android）和FlutterMethodChannel（iOS）传递给原生平台，并使用Google的原生API执行。请理解这一概念，以便在调试模型和/或应用程序错误时有所帮助。

要求

iOS

• 最低iOS部署目标：15.5.0
• Xcode 15.3.0或更新版本
• Swift 5
• ML Kit不支持32位架构（i386和armv7）。ML Kit支持64位架构（x86_64和arm64）。检查此列表以查看您的设备是否具有所需的设备功能。更多信息请参阅这里。

由于ML Kit不支持32位架构（i386和armv7），您需要在Xcode中排除armv7架构，以便运行flutter build ios或flutter build ipa。更多信息请参阅这里。

在项目 > Runner > 构建设置 > 排除的架构 > 任何SDK > armv7处进行设置。

您的Podfile应如下所示：

platform :ios, '15.5.0'  # 或更新版本

...

# 添加这行：
$iOSVersion = '15.5.0'  # 或更新版本

post_install do |installer|
  # 添加这些行：
  installer.pods_project.build_configurations.each do |config|
    config.build_settings["EXCLUDED_ARCHS[sdk=*]"] = "armv7"
    config.build_settings['IPHONEOS_DEPLOYMENT_TARGET'] = $iOSVersion
  end

  installer.pods_project.targets.each do |target|
    flutter_additional_ios_build_settings(target)

    # 添加这些行：
    target.build_configurations.each do |config|
      if Gem::Version.new($iOSVersion) > Gem::Version.new(config.build_settings['IPHONEOS_DEPLOYMENT_TARGET'])
        config.build_settings['IPHONEOS_DEPLOYMENT_TARGET'] = $iOSVersion
      end
    end

  end
end

注意，最小IPHONEOS_DEPLOYMENT_TARGET为15.5.0，您可以将其设置为更新的版本，但不能更旧。

Android

• minSdkVersion: 21
• targetSdkVersion: 33
• compileSdkVersion: 34

使用方法

创建InputImage实例

创建一个InputImage实例，具体方法请参阅这里。

final InputImage inputImage;

创建PoseDetector实例

final options = PoseDetectorOptions();
final poseDetector = PoseDetector(options: options);

处理图像

final List<Pose> poses = await poseDetector.processImage(inputImage);

for (Pose pose in poses) {
  // 访问所有关键点
  pose.landmarks.forEach((_, landmark) {
    final type = landmark.type;
    final x = landmark.x;
    final y = landmark.y;
 });

  // 访问特定关键点
  final landmark = pose.landmarks[PoseLandmarkType.nose];
}

释放资源

poseDetector.close();

示例应用

示例应用请参阅这里。

完整示例Demo

以下是一个完整的示例代码，展示了如何在Flutter应用中使用google_mlkit_pose_detection插件进行姿态检测：

import 'package:flutter/material.dart';
import 'package:google_mlkit_pose_detection/google_mlkit_pose_detection.dart';
import 'package:image_picker/image_picker.dart';

void main() {
  runApp(MyApp());
}

class MyApp extends StatelessWidget {
  @override
  Widget build(BuildContext context) {
    return MaterialApp(
      home: PoseDetectionScreen(),
    );
  }
}

class PoseDetectionScreen extends StatefulWidget {
  @override
  _PoseDetectionScreenState createState() => _PoseDetectionScreenState();
}

class _PoseDetectionScreenState extends State<PoseDetectionScreen> {
  late PoseDetector _poseDetector;
  bool _isBusy = false;
  String? _text;
  InputImage? _inputImage;

  @override
  void initState() {
    super.initState();
    _initializePoseDetector();
  }

  void _initializePoseDetector() {
    final options = PoseDetectorOptions();
    _poseDetector = PoseDetector(options: options);
  }

  Future<void> _processImage(InputImage inputImage) async {
    setState(() {
      _isBusy = true;
      _text = '';
    });
    final poses = await _poseDetector.processImage(inputImage);
    if (inputImage.inputImageData?.size != null &&
        inputImage.inputImageData?.imageRotation != null) {
      final painter = PosePainter(poses, inputImage.inputImageData!.size,
          inputImage.inputImageData!.imageRotation);
      _text = 'Found ${poses.length} pose(s)';
    } else {
      String text = 'Found ${poses.length} pose(s)';
      for (final pose in poses) {
        for (final landmark in pose.landmarks.values) {
          text += '\n${landmark.type}: (${landmark.x}, ${landmark.y})';
        }
      }
      _text = text;
    }
    setState(() {
      _isBusy = false;
    });
  }

  Future<void> _getImage(ImageSource source) async {
    final pickedFile = await ImagePicker().pickImage(source: source);
    if (pickedFile != null) {
      final inputImage =
          InputImage.fromFilePath(pickedFile.path);
      setState(() {
        _inputImage = inputImage;
      });
      _processImage(_inputImage!);
    }
  }

  @override
  void dispose() {
    _poseDetector.close();
    super.dispose();
  }

  @override
  Widget build(BuildContext context) {
    return Scaffold(
      appBar: AppBar(
        title: Text('Pose Detection'),
      ),
      body: Column(
        children: [
          Expanded(
            child: Center(
              child: _inputImage == null
                  ? Text('No image selected.')
                  : Image.file(File(_inputImage!.path)),
            ),
          ),
          if (_text != null) Text(_text!),
          Padding(
            padding: const EdgeInsets.all(16.0),
            child: Row(
              mainAxisAlignment: MainAxisAlignment.spaceAround,
              children: [
                ElevatedButton(
                  onPressed: () => _getImage(ImageSource.gallery),
                  child: Text('From Gallery'),
                ),
                ElevatedButton(
                  onPressed: () => _getImage(ImageSource.camera),
                  child: Text('From Camera'),
                ),
              ],
            ),
          ),
        ],
      ),
    );
  }
}

class PosePainter {
  PosePainter(this.poses, this.absoluteImageSize, this.rotation);

  final List<Pose> poses;
  final Size absoluteImageSize;
  final InputImageRotation rotation;

  void paint(Canvas canvas, Size size) {
    final Paint paint = Paint()
      ..style = PaintingStyle.stroke
      ..strokeWidth = 2.0
      ..color = Colors.red;

    for (final pose in poses) {
      for (final landmark in pose.landmarks.values) {
        final point = Offset(landmark.x, landmark.y);
        canvas.drawCircle(point, 5.0, paint);
      }
    }
  }
}

这个示例展示了如何在Flutter应用中集成google_mlkit_pose_detection插件，选择图片或拍照后进行姿态检测，并显示检测结果。