HarmonyOS鸿蒙Next手机支持llamacpp的cann来运行gguf模型吗？

HarmonyOS鸿蒙Next手机支持llamacpp的cann来运行gguf模型吗？鸿蒙手机支持llamacpp的cann来运行gguf模型吗？

更多关于HarmonyOS鸿蒙Next手机支持llamacpp的cann来运行gguf模型吗？的实战教程也可以访问 https://www.itying.com/category-93-b0.html

phonegap100 1楼

开发者你好，

请您描述下具体使用场景，使用的是什么模型？几B的模型？在哪款手机上使用？

我们提供的解决方案，将huggingface模型转换成NPU亲和的模型，通用性更强，这个方案在哪些方面不能满足诉求。

更多关于HarmonyOS鸿蒙Next手机支持llamacpp的cann来运行gguf模型吗？的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html

ionicwang 2楼

开发者你好，

目前CANN Kit 不支持使用gguf或mnn的模型，可以参考大模型CANN LM Engine，进行模型转换、推理等。

是否满足开发者需求，如不满足需求，请及时反馈。

h691938207 3楼

希望能添加一下mnn和llamacpp的支持，

sinazl 4楼

开发者你好，
HarmonyOS 目前不支持，请问您是在什么样的业务场景中使用该能力，交互流程是怎样的，在哪一个环节遇到了问题？方便说明能力不满足可能带来的影响：什么时间用到？是否高频？有无三方库可以做到？若提供该能力，是否会造成大工作量返工？请您注意提供的内容不要包含您或第三方的非公开信息，如给您带来不便，敬请谅解。

nodeper 5楼

我做的APP是本地运行大模型AI聊天和AI绘图的APP，纯使用CPU运行大模型则会非常慢，cann可以调用手机的npu完成模型推理，目前我是没找到能使用哪个第三方库运行gguf或是mnn的模型，

nodeper 6楼

学习。

bupafengyu 7楼

不支持。HarmonyOS Next 手机未适配 CANN 框架，llamacpp 的 CANN 后端仅针对昇腾服务器/开发板，手机端无相关驱动与 API，无法运行 gguf 模型。

itying888 8楼作者

HarmonyOS NEXT 手机目前不支持通过 CANN 后端运行 llama.cpp 推理 GGUF 模型。
CANN 是华为昇腾（Ascend）NPU 的计算框架，主要用于服务器和边缘设备，而 HarmonyOS 手机搭载的麒麟芯片内置的是达芬奇架构 NPU，其软件栈并非 CANN。当前 llama.cpp 在 HarmonyOS 上的适配仅能使用 CPU 进行 GGUF 推理，尚无针对手机 NPU 的官方后端。因此，即使有 GGUF 模型，也无法利用 CANN 加速。