HarmonyOS鸿蒙Next融合虚拟与现实,AR Engine为用户提供沉浸式交互体验

HarmonyOS鸿蒙Next融合虚拟与现实,AR Engine为用户提供沉浸式交互体验 当今的应用市场中,传统的应用产品已经难以完全满足消费者的多样化需求。为了在竞争激烈的市场中脱颖而出,企业需要深入洞察用户需求,提供个性化的服务体验和差异化的产品创新,以吸引并留住消费者。

比如,购物类App通过虚实结合的方式实现虚拟穿搭;室内设计行业App可将虚拟家具模型放置于现实环境中给用户演示;游戏行业App可将虚拟游戏画面放置于现实环境中,从而提供给用户更沉浸式的游戏体验。

以上创新化的应用场景,都依赖于一项核心的技术能力,即增强现实(AR)技术,HarmonyOS SDK AR引擎服务(AR Engine)正好具备这样的能力。
AR Engine是一个用于在HarmonyOS上构建增强现实应用的引擎,基于计算机实时计算和多传感器的结合,可以通过设备摄像头将虚拟物体逼真地叠加到现实场景中,让应用实现虚拟世界与现实世界的融合,为用户提供全新的视觉体验和交互方式。

AR Engine提供了运动跟踪、环境跟踪和命中检测等空间计算能力,开发者可以借助这些能力实现如AR导航、AR测量和AR摆放等应用,为用户提供虚实融合的全新交互体验。

运动跟踪能力

运动跟踪能力统一了虚拟坐标系和现实坐标系,是实现虚拟物体与现实环境逼真融合的基础能力。

AR Engine使用运动跟踪能力通过终端设备摄像头标识特征点,并跟踪其移动变化,同时将这些点的移动变化与终端设备惯性传感器结合,来不断跟踪终端设备的位置和姿态。通过持续跟踪设备相对于周围环境的位置和姿态变化轨迹,建立了虚拟数字世界和现实物理世界统一的几何空间坐标系,从而实现设备在不同视角和距离情况下,虚拟物体保持与真实环境几何的一致性,开发者可从观察者视角将渲染的虚拟物体叠加到摄像头图像中,实现虚实融合。

比如AR Engine应用在AR车展上时,用户可通过转动设备摄像头从不同角度来查看虚拟汽车模型,实现沉浸式的AR观展,这里就用到了运动跟踪的能力。

环境跟踪

AR Engine环境跟踪能力可以快速识别出现实场景中的平面信息,并识别出对应的平面类型和形状等信息,从而辅助应用实现数字虚拟物体以场景化的方式融入现实物理世界中。环境跟踪主要包括平面检测、平面语义、目标语义三个能力。

平面检测

平面检测能力可通过识别水平和垂直平面上的成群特征点以及平面的边界,得到现实世界中的平面信息,例如地面或墙面。检测到这些平面后,应用可基于平面来放置虚拟物体,或进行导航等应用场景的开发。

平面语义

平面语义是指检测现实世界平面的类型,当前支持的平面类型共8种,分别为:墙面、地面、座椅面、桌面、天花板、门面、窗面、床面。

目目标语义

目标语义是指当目标物体位于平面上时,检测目标物体的形状,当前包括矩形和圆形。

命中检测

命中检测技术可以帮助AR Engine实现虚实世界两点之间的连接。AR Engine通过命中检测技术,获取兴趣点到AR世界兴趣点的映射关系,开发者可以基于此能力帮助用户实现与AR世界中虚拟物体的交互。

在实际应用场景中,用户可点击终端设备屏幕,选中现实环境中的兴趣点,AR应用调用碰撞检测接口获取AR世界的兴趣点并返回相关信息,用户即可在终端设备屏幕所展示的AR世界兴趣点上完成模型放置等交互动作,比如用户可以通过摄像头将虚拟家具放置于现实室内环境中,并从各个角度观察判断家具是否符合整体设计,从而减少大件商品的购买出错率。

运动跟踪能力统一了现实世界和虚拟世界的坐标系,环境跟踪能力识别出了现实世界的平面信息,而命中检测能力建立了两个世界之间的交互锚点,AR Engine通过这三个能力,从点、线、面多个维度打破了物理世界与数字世界的壁垒,实现了两者的叠加统一,这种统一不仅为用户提供了前所未有的体验,也为开发者开辟了广阔的创新空间,为各行各业带来了更多的可能性。随着技术的不断演进和市场的不断扩大,我们可以期待AR技术在未来将有更广泛的应用和更深远的影响。

了解更多详情>>

访问AR Engine联盟官网

获取AR Engine开发指导文档


更多关于HarmonyOS鸿蒙Next融合虚拟与现实,AR Engine为用户提供沉浸式交互体验的实战教程也可以访问 https://www.itying.com/category-93-b0.html

2 回复

HarmonyOS鸿蒙Next通过AR Engine技术,实现了虚拟与现实的深度融合,为用户提供了沉浸式的交互体验。AR Engine是华为自研的增强现实引擎,支持多种AR功能,包括环境理解、运动跟踪、平面检测、光照估计等。开发者可以利用AR Engine在HarmonyOS应用中集成AR能力,实现诸如虚拟物体放置、虚实交互、空间导航等功能。

AR Engine通过设备的摄像头、传感器等硬件,实时捕捉用户周围的环境信息,并结合算法进行精确的空间定位和物体识别。这使得用户可以在现实世界中与虚拟物体进行互动,例如在桌面上放置虚拟家具、在墙壁上投射虚拟艺术品等。AR Engine还支持多人协作,允许多个用户在同一空间内共享AR体验,进一步增强了交互的沉浸感。

HarmonyOS鸿蒙Next的AR Engine还优化了性能,确保在低功耗设备上也能流畅运行AR应用。此外,AR Engine与HarmonyOS的分布式能力相结合,支持跨设备协同,用户可以在手机、平板、智能眼镜等不同设备上无缝切换AR体验。这种融合虚拟与现实的技术,不仅提升了用户的使用体验,也为开发者提供了更多创新的可能性。

更多关于HarmonyOS鸿蒙Next融合虚拟与现实,AR Engine为用户提供沉浸式交互体验的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


HarmonyOS鸿蒙Next通过AR Engine技术实现了虚拟与现实的深度融合,为用户带来沉浸式的交互体验。AR Engine结合了先进的计算机视觉和图形处理能力,支持实时环境感知、三维重建和精准定位,使虚拟对象能够自然地融入真实世界。用户可以通过智能设备与虚拟内容进行互动,应用于教育、娱乐、购物等多个场景,极大提升了用户体验和操作便捷性。这一技术不仅推动了AR应用的广泛普及,也为未来智能生活提供了无限可能。

回到顶部