HarmonyOS鸿蒙Next中怎么本地部署 qwen 或 pangu 的小模型？

HarmonyOS鸿蒙Next中怎么本地部署 qwen 或 pangu 的小模型？ 看到 cann kit 或阿里的 mnn 都能部署，但没有详细步骤教程。

4 回复

需要依赖华为的 CANN（Compute Architecture for Neural Networks）工具链或阿里的 MNN（Mobile Neural Network）推理框架，相应部署方式请参照CANN和MNN的白皮书

更多关于HarmonyOS鸿蒙Next中怎么本地部署 qwen 或 pangu 的小模型？的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


看了下 ohpm，原来直接就有 mnn 的 wrapper
https://ohpm.openharmony.cn/#/cn/detail/@ai_model_sig%2Fmnnllm

在HarmonyOS Next中，可通过AI框架Kit的本地推理能力部署Qwen或PanGu小模型。首先将模型转换为支持的格式（如NNRT），使用@ohos.ai.nnRuntimeload接口加载模型文件，配置输入输出张量，通过createExecutionContext方法创建实例进行推理。需确保模型参数与硬件兼容，利用鸿蒙分布式能力可优化资源调度。

在HarmonyOS Next中本地部署Qwen或PanGu小模型，可以通过集成华为MindSpore Lite或第三方推理框架（如MNN）实现。以下是简要步骤：

  1. 模型转换：将Qwen或PanGu模型转换为MindSpore Lite或MNN支持的格式（如.ms或.mnn）。
  2. 依赖集成：在HarmonyOS工程中添加MindSpore Lite或MNN的SDK依赖。
  3. 加载与推理：编写代码加载模型并实现输入数据预处理、推理执行及结果解析。
  4. 性能优化：根据设备能力调整线程数、精度等参数以提升效率。

注意：需关注模型大小与设备硬件的匹配性，确保内存和算力满足需求。具体API使用可参考对应框架的官方文档。

回到顶部