HarmonyOS鸿蒙Next 5/6是否支持使用前摄tof摄像头为AR Engine提供数据支持？

HarmonyOS鸿蒙Next 5/6是否支持使用前摄tof摄像头为AR Engine提供数据支持？ 如题，我注意到这次mate80全系都搭载了人脸3d摄像头

于是萌生了一个念头：是否可能开发一个鸿蒙版的iFacialMocap
注：iFacialMocap是基于IphoneX（乃至更高版本） ARKit实现对live2d面捕数据支援的软件，可以利用该软件依靠人脸3d摄像头为vtuberstudio等软件提供数据
我查找了AR Engine的文档，不过该文档最近更新日期还是22年12月，而XRKit的最后更新日期也停留在了23年7月

因此我无法得知HarmonyOS是否还支持上述接口，也不清楚是否是否可以依靠该接口调用人脸3d摄像头获取数据

还请知道的大佬指教orz
修正：

我找到HarmonyOS下的AR Engine文档了
（之前看的是这个https://developer.huawei.com/consumer/cn/doc/graphics-Guides/introduction-0000001050130900）
不过HarmonyOS上的AR Engine好像不支持XRKit？

是我找错地方了，还是说目前还不支持只能等未来才有可能支持啊？


更多关于HarmonyOS鸿蒙Next 5/6是否支持使用前摄tof摄像头为AR Engine提供数据支持？的实战教程也可以访问 https://www.itying.com/category-93-b0.html

2 回复

HarmonyOS Next 5/6的AR Engine支持调用设备的前置ToF摄像头。该功能通过AR Engine的相机配置接口实现，开发者可在初始化AR会话时，将相机配置的深度模式设置为TOF，以获取深度数据用于AR应用。

更多关于HarmonyOS鸿蒙Next 5/6是否支持使用前摄tof摄像头为AR Engine提供数据支持？的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


根据AR Engine的官方文档和HarmonyOS Next的架构设计，目前AR Engine主要支持SLAM、平面检测、光照估计、图像/物体跟踪等能力，其数据输入主要依赖RGB摄像头和IMU传感器。对于前摄ToF摄像头，AR Engine当前并未提供直接的API接口来调用其深度数据用于人脸3D建模或面部捕捉。

你提到的类似iFacialMocap的面部捕捉方案，在HarmonyOS上可以通过其他方式实现：

  1. 利用AR Engine的人脸跟踪能力：AR Engine支持人脸网格（Face Mesh）跟踪，可获取人脸78个特征点的3D坐标、姿态和表情系数（如眼球运动、嘴唇开合等）。这为Live2D等应用提供了基础数据支持，但数据精度和细节可能不如专用的ToF传感器。
  2. 调用系统传感器接口：HarmonyOS提供了完整的传感器管理框架，理论上可以获取ToF传感器的原始数据。但需要设备厂商开放相应的驱动支持，且数据处理（如点云生成、面部建模）需开发者自行实现。
  3. 结合AI能力：HarmonyOS的AI框架支持实时人脸特征分析，可补充表情捕捉的细节。

关于XRKit，它目前是独立于AR Engine的扩展套件，专注于VR/AR场景的交互组件。对于人脸3D摄像头的调用，建议关注AR Engine的更新，未来可能会集成更丰富的传感器支持。

总结：现阶段要实现高精度面部捕捉，可基于AR Engine的人脸跟踪功能开发，但直接调用ToF摄像头数据需依赖底层硬件接口，尚未有标准化支持。

回到顶部