HarmonyOS鸿蒙Next中目前调用NPU计算有文档嘛

HarmonyOS鸿蒙Next中目前调用NPU计算有文档嘛 【问题描述】:目前鸿蒙调用NPU计算有文档嘛; ;写了一个小软件，可以在端侧设备运行大语言模型，但是我观察到完全是CPU在硬算，llama.cpp没有适配NPU，如果有文档的话我想再优化一下

【版本信息】：6.0、手机系统版本:mate60、Api语言版本:20

4 回复

开发者您好，

NPU，CPU调用应该都是在KIT侧中集成去完成调用的，应用中无法指定的。同时依赖设备芯片，如果设备支持NPU能力，会优先使用NPU，若设备未配备NPU，则自动由CPU执行。

更多关于HarmonyOS鸿蒙Next中目前调用NPU计算有文档嘛的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


cann kit CANN Kit简介-CANN Kit（CANN 服务）-AI - 华为HarmonyOS开发者

目前HarmonyOS Next的NPU调用文档尚未公开。开发者需关注华为开发者联盟官网或HarmonyOS开发者专区，以获取最新的官方文档和API发布信息。

目前HarmonyOS Next的NPU（Neural Network Engine）调用能力主要通过AI框架层提供，相关技术文档已对开发者开放。

关键文档和资源包括：

  1. AI框架开发指南：详细介绍了如何利用系统提供的神经网络运行时（NN Runtime）进行模型推理，支持将模型部署到NPU执行。
  2. 模型转换工具：提供了将主流框架（如TensorFlow、PyTorch）模型转换为鸿蒙支持的模型格式的指导，以便利用NPU加速。
  3. 性能分析工具：帮助开发者分析模型在NPU上的执行情况，进行针对性优化。

对于你提到的llama.cpp端侧运行大语言模型场景，建议：

  • 将模型转换为鸿蒙支持的格式，通过AI框架调度，系统会自动优先分配NPU资源进行计算。
  • 关注模型算子对NPU的支持情况，部分自定义算子可能需要适配或回退到CPU执行。

具体实现可参考官方文档中的示例代码，通过调用相应的推理接口，即可利用NPU加速计算，显著提升大语言模型在端侧的运行效率。

回到顶部