HarmonyOS鸿蒙Next人脸点位识别功能需求

HarmonyOS鸿蒙Next人脸点位识别功能需求 【问题描述】：在鸿蒙实现人脸点位检测识别的功能需求，之前在安卓使用的是mediapipe库，如果使用MindSpore模型转换工作量巨大，要编写推理前后的代码。是否有其他替代方案能够满足实现人脸点位检测识别功能。

【问题现象】：如何在鸿蒙中实现人脸检测识别功能，参考开发文档中的人脸识别功能不太能满足开发需求。是否有其他替代方案能够满足实现人脸点位检测识别功能。

【版本信息】：6.0

【复现代码】：无

【尝试解决方案】：MindSpore Lite Kit简介-MindSpore Lite Kit（昇思推理框架服务）-AI - 华为HarmonyOS开发者；人脸检测-Core Vision Kit（基础视觉服务）-AI - 华为HarmonyOS开发者


更多关于HarmonyOS鸿蒙Next人脸点位识别功能需求的实战教程也可以访问 https://www.itying.com/category-93-b0.html

9 回复

尊敬的开发者，您好，
人脸点位识别相关主要涉及两个核心能力：
faceDetector：适用于图片处理，轻量级，快速获取2D特征点（5个关键点）和姿态。常用于静态分析、照片编辑。
AR Engine人脸跟踪：适用于实时视频流，提供丰富的3D数据（84个拓扑点、网格顶点、微表情），适用于AR特效、表情驱动等交互场景。
当前与开发者场景相符的就是以上两种能力，若仍不满足您的场景建议使用模型转换来实现。

更多关于HarmonyOS鸿蒙Next人脸点位识别功能需求的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


请问你解决了吗，遇到了相同的问题

有要学HarmonyOS AI的同学吗，联系我：https://www.itying.com/goods-1206.html

我最近也用AR Engine，有实时人脸识别的功能

人脸识别与跟踪介绍

https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/arengine-face

AR Engine提供人脸表情跟踪的能力，跟踪获取人脸图像信息，实时将其理解成人脸表情内容，并转化成各种表情参数。

AR Engine提供了64种包含眼睛、眉毛、眼球、嘴巴、舌头等主要脸部器官的表情动作以及84个人脸拓扑点。

图1 人脸拓扑点示意图

cke_3979.png

涉及人脸识别的：

  1. Core Vision Kit的《人脸识别》、《人脸对比》：普通图片分析识别，娱乐类。
  2. Vision Kit的《人脸活体检测》：纯端侧算法，办公非但不那么安全敏感可用。
  3. AR Engine的《人脸表情跟踪》：增强现实技术，喜欢研究编程开发者可选择。
  4. MindSpore Lite的人脸识别：AI引擎，技术牛点的可考虑。

如果是MediaPipe对标，选4。业务简单1和2配合就可以。3应该是现阶段人脸点位检测比较合适的选择。

用过一段时间的 Core Vision Kit中的人脸检测功能，好像返回的结果不仅包含人脸矩形框，也包含基础的面部关键点信息（如眼睛、鼻子、嘴角的位置）。FaceDetectionResult等对象提供了 landmarks或类似的关键点数据字段。

faceDetector（人脸检测）-ArkTS API-Core Vision Kit（基础视觉服务）-AI - 华为HarmonyOS开发者

不行的你就试试AR Engine或者 ML Kit吧

AR Engine服务提供了强大的实时人脸跟踪能力，能够输出包括人脸网格（Face Mesh）、详细的关键点（通常多达数百个）、表情系数、头部姿态等丰富数据。这非常适合需要高精度面部动作分析的应用场景。你可以关注 ARFaceTracking相关API，通过 ARFace对象获取密集的关键点坐标。

然后就是HarmonyOS 的 ML Kit（机器学习套件）可能提供专项的人脸关键点检测服务。该服务可能作为独立于基础视觉的AI能力，专注于返回更精准或更多数量的面部特征点。

如果需求是 MediaPipe Face Mesh 那种密集人脸点位，Core Vision Kit 的人脸检测大概率不能直接一比一替代。官方人脸检测更偏基础能力，返回人脸框、五官位置、人脸朝向和置信度，适合做人脸定位、基础美化/贴纸锚点等；而且文档也说明该能力当前不支持模拟器，接口耗时较久，不适合强实时检测。

可选方案可以分层：1. 只需要基础五官点位，就先用 Core Vision Kit 人脸检测，真机验证返回字段是否满足；2. 需要几十/几百个密集点位或实时跟踪，还是要考虑端侧模型方案，例如 MindSpore Lite/ONNX 转换后封装预处理和后处理；3. 如果已有 MediaPipe 方案，也可以评估原生库移植，但要确认 license、ABI、依赖库和性能。

建议先把“需要几个点、是否实时、目标帧率、是否离线”定清楚。点位越密、实时性越强，就越不像一个现成 Kit 能直接替代。

HarmonyOS Next 人脸点位识别需基于系统提供的 HiFace 或 人脸检测能力 实现。核心需求包括：支持 106/126/468个关键点 定位，输出 归一化坐标 及 置信度；支持 多角度（正脸、侧脸、俯仰） 检测；支持 实时视频流 处理，帧率≥30fps；提供 异步回调 或 流式结果；接口应适配 ArkTS 或 C++ NAPI（非Java/C）。

对于HarmonyOS Next（API 6）人脸点位检测需求，直接使用系统自带的 Core Vision Kit 即可满足大部分场景。其 FaceDetector 返回的 FaceLandmark 对象包含以下点位：左眼、右眼、鼻尖、嘴左角、嘴右角、左耳、右耳、脸颊等（共 8 个主要点）。如果需要更多点位（如 MediaPipe 的 468 个），当前系统 API 无法直接提供。

替代方案：

  1. HMS Core ML Kit 人脸检测（如果设备支持 HMS）：提供更丰富的面部轮廓点（约 181 个关键点），通过 MLFace 的 getFacePoints() 获取。集成方式与 Android 类似，工作量较小。
  2. 直接加载 MediaPipe 的 TFLite 模型：使用 OpenHarmony 的 NNAPI 或 CPU 推理框架（如 @ohos.ai.inference）加载预训练模型，但需要编写模型输入输出的预处理/后处理代码（与 MindSpore 方案类似）。
  3. 使用第三方开源库：例如 libfacedetection 的鸿蒙移植版（阉割点位），或基于 OpenCV 的 DNN 模块（但 OpenCV 在鸿蒙上未完整支持人脸关键点）。

结论：若 8 个点足够，直接使用 Core Vision Kit；否则推荐 HMS Core ML Kit 作为折中方案，无需模型转换，接入成本最低。

回到顶部