Flutter姿态检测插件learning_pose_detection的使用

ML姿态检测

ML姿态检测是一个轻量且多功能的解决方案，用于在Flutter应用中实时从连续视频或静态图像中检测用户的身体姿势。

一个姿态描述了某一时刻身体的位置，包括一系列骨骼关键点。这些关键点对应于不同的身体部位，如肩膀和臀部。关键点之间的相对位置可以用来区分不同的姿态。它会产生一个包含33个点的全身骨骼匹配，其中包括面部关键点（耳朵、眼睛、嘴巴和鼻子）以及手和脚上的点。

ML姿态检测不需要专门的设备或机器学习专业知识就可以获得很好的效果。通过这项技术，开发者只需几行代码就可以为用户提供独一无二的体验。

为了检测姿态，用户的面部必须出现在画面中。姿态检测在主体整个身体都可见时效果最佳，但也可以检测到部分身体的姿态。在这种情况下，未识别的关键点会被分配到图像外的坐标。

开始使用

在你的Flutter项目中添加依赖：

$ flutter pub add learning_pose_detection

或者在pubspec.yaml文件中添加以下内容：

dependencies:
  learning_pose_detection: ^0.0.1

然后运行 flutter pub get。

使用方法

首先导入learning_pose_detection库：

import 'package:learning_pose_detection/learning_pose_detection.dart';

输入图像

与其他ML视觉插件一样，输入图像需要作为InputImage实例。InputImage属于learning_input_image包的一部分。

你可以使用来自learning_input_image包的InputCameraView小部件作为默认实现，将相机或存储中的图像（或图像流）处理为InputImage格式。但是，如果你想创建自己的自定义实现，可以深入了解InputCameraView代码。

以下是使用InputCameraView获取InputImage进行姿态检测的示例：

import 'package:learning_input_image/learning_input_image.dart';

InputCameraView(
  title: 'Pose Detection',
  onImage: (InputImage image) {
    // 现在我们可以将输入图像传递给姿态检测器
  },
)

姿态检测

在获取到InputImage之后，我们可以通过调用PoseDetector实例的detect方法来开始检测用户的姿态。

PoseDetector detector = PoseDetector();
Pose? pose = await detector.detect(image);

输出

姿态检测过程的输出是一个Pose对象，该对象包含以下信息：

Map<PoseLandmarkType, PoseLandmark> landmarks // 表示关键点列表的Map对象

每个PoseLandmark包含以下数据：

PoseLandmarkType type // 检测到的关键点类型
Offset position // 检测到关键点的x, y位置
double inFrameLikelihood // 检测到的关键点位于图像内的概率

以下是PoseLandmarkType值的列表：

LEFT_EYE
LEFT_EYE_INNER
LEFT_EYE_OUTER
RIGHT_EYE
RIGHT_EYE_INNER
RIGHT_EYE_OUTER
LEFT_EAR
RIGHT_EAR
NOSE
LEFT_MOUTH
RIGHT_MOUTH
LEFT_SHOULDER
RIGHT_SHOULDER
LEFT_ELBOW
RIGHT_ELBOW
LEFT_WRIST
RIGHT_WRIST
LEFT_THUMB
RIGHT_THUMB
LEFT_INDEX
RIGHT_INDEX
LEFT_PINKY
RIGHT_PINKY
LEFT_HIP
RIGHT_HIP
LEFT_KNEE
RIGHT_KNEE
LEFT_ANKLE
RIGHT_ANKLE
LEFT_HEEL
RIGHT_HEEL
LEFT_FOOT_INDEX
RIGHT_FOOT_INDEX

姿态绘制

为了方便地从Pose对象绘制到屏幕，我们提供了一个PoseOverlay，你可以将其传递给InputCameraView的overlay参数。更多关于如何使用这种绘制的信息，你可以查看这里的工作示例代码。

PoseOverlay(
  size: size,
  originalSize: originalSize,
  rotation: rotation,
  pose: pose,
)

释放资源

确保在不再使用PoseDetector时释放资源：

detector.dispose();

示例项目

你可以在这里查看示例项目。

示例代码

以下是完整的示例代码：

import 'package:flutter/material.dart';
import 'package:learning_pose_detection/learning_pose_detection.dart';
import 'package:learning_input_image/learning_input_image.dart';
import 'package:provider/provider.dart';

void main() {
  runApp(MyApp());
}

class MyApp extends StatelessWidget {
  [@override](/user/override)
  Widget build(BuildContext context) {
    return MaterialApp(
      debugShowCheckedModeBanner: false,
      theme: ThemeData(
        primarySwatch: Colors.lightBlue,
        visualDensity: VisualDensity.adaptivePlatformDensity,
        primaryTextTheme: TextTheme(headline6: TextStyle(color: Colors.white)),
      ),
      home: ChangeNotifierProvider(
        create: (_) => PoseDetectionState(),
        child: PoseDetectionPage(),
      ),
    );
  }
}

class PoseDetectionPage extends StatefulWidget {
  [@override](/user/override)
  _PoseDetectionPageState createState() => _PoseDetectionPageState();
}

class _PoseDetectionPageState extends State<PoseDetectionPage> {
  PoseDetectionState get state => Provider.of(context, listen: false);
  PoseDetector _detector = PoseDetector(isStream: false);

  [@override](/user/override)
  void dispose() {
    _detector.dispose();
    super.dispose();
  }

  Future<void> _detectPose(InputImage image) async {
    if (state.isNotProcessing) {
      state.startProcessing();
      state.image = image;
      state.data = await _detector.detect(image);
      state.stopProcessing();
    }
  }

  [@override](/user/override)
  Widget build(BuildContext context) {
    return InputCameraView(
      cameraDefault: InputCameraType.rear,
      title: 'Pose Detection',
      onImage: _detectPose,
      overlay: Consumer<PoseDetectionState>(
        builder: (_, state, __) {
          if (state.isEmpty) {
            return Container();
          }

          Size originalSize = state.size!;
          Size size = MediaQuery.of(context).size;

          // 如果图像源来自图库
          // 图像显示大小被缩放为360x360，并保留宽高比
          if (state.notFromLive) {
            if (originalSize.aspectRatio > 1) {
              size = Size(360.0, 360.0 / originalSize.aspectRatio);
            } else {
              size = Size(360.0 * originalSize.aspectRatio, 360.0);
            }
          }

          return PoseOverlay(
            size: size,
            originalSize: originalSize,
            rotation: state.rotation,
            pose: state.data!,
          );
        },
      ),
    );
  }
}

class PoseDetectionState extends ChangeNotifier {
  InputImage? _image;
  Pose? _data;
  bool _isProcessing = false;

  InputImage? get image => _image;
  Pose? get data => _data;

  String? get type => _image?.type;
  InputImageRotation? get rotation => _image?.metadata?.rotation;
  Size? get size => _image?.metadata?.size;

  bool get isNotProcessing => !_isProcessing;
  bool get isEmpty => _data == null;
  bool get isFromLive => type == 'bytes';
  bool get notFromLive => !isFromLive;

  void startProcessing() {
    _isProcessing = true;
    notifyListeners();
  }

  void stopProcessing() {
    _isProcessing = false;
    notifyListeners();
  }

  set image(InputImage? image) {
    _image = image;

    if (notFromLive) {
      _data = null;
    }
    notifyListeners();
  }

  set data(Pose? data) {
    _data = data;
    notifyListeners();
  }
}