在HarmonyOS鸿蒙Next应用中集成端侧模型,用于实现本地相关的AI功能。可以使用什么样的技术方案?MLC-LLM单框架是否支持?

发布于 1周前 作者 zlyuanteng 来自 鸿蒙OS

在HarmonyOS鸿蒙Next应用中集成端侧模型,用于实现本地相关的AI功能。可以使用什么样的技术方案?MLC-LLM单框架是否支持? 在应用中集成端侧模型,用于实现本地相关的AI功能。可以使用什么样的技术方案?MLC-LLM单框架是否支持?

3 回复

MindSpore Lite?

更多关于在HarmonyOS鸿蒙Next应用中集成端侧模型,用于实现本地相关的AI功能。可以使用什么样的技术方案?MLC-LLM单框架是否支持?的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


在HarmonyOS鸿蒙Next应用中集成端侧模型以实现本地AI功能,可以使用以下技术方案:

  1. MindSpore Lite:华为自研的轻量级AI推理框架,支持在端侧设备上进行高效的模型推理。它提供了丰富的API和工具链,便于开发者将训练好的模型部署到鸿蒙设备上。

  2. NNRT(Neural Network Runtime):鸿蒙系统内置的神经网络运行时,支持多种AI模型格式,如TensorFlow Lite、Caffe等。NNRT提供了高效的推理能力,适合在资源受限的端侧设备上运行。

  3. MLC-LLM(Machine Learning Compiler for Low-Level Machine):MLC-LLM是一个专注于低层次机器学习的编译器框架,旨在优化模型在端侧设备上的性能。它支持多种硬件后端,包括CPU、GPU和NPU,能够有效提升模型推理速度。

MLC-LLM单框架在鸿蒙Next应用中是可以支持的,但需要根据具体硬件和模型类型进行适配和优化。MLC-LLM的优势在于其跨平台兼容性和对低层次硬件的深度优化,适合在鸿蒙设备上实现高效的本地AI功能。

总结来说,MindSpore Lite、NNRT和MLC-LLM都是可行的技术方案,MLC-LLM单框架在鸿蒙Next应用中是可以支持的。

在HarmonyOS鸿蒙Next应用中集成端侧模型,可以采用以下技术方案:

  1. MindSpore Lite:华为自研的轻量级AI推理框架,支持在端侧设备上高效运行AI模型。
  2. TensorFlow Lite:Google推出的轻量级AI框架,适用于移动和嵌入式设备。
  3. PyTorch Mobile:Facebook推出的移动端AI框架,支持在端侧设备上运行PyTorch模型。

MLC-LLM单框架目前不支持HarmonyOS鸿蒙Next,建议使用上述框架进行集成。

回到顶部
AI 助手
你好,我是IT营的 AI 助手
您可以尝试点击下方的快捷入口开启体验!