HarmonyOS 鸿蒙Next请问个人开发app能内嵌本地大模型吗？如qwen3.5-3b

HarmonyOS 鸿蒙Next请问个人开发app能内嵌本地大模型吗？如qwen3.5-3b 自己开发了一款app需要内嵌本地模型，如果不能，只能放弃华为了，转战安卓系统。

wuwangju 1楼

可参考如下两种开发方式：

方式一：使用MindSpore Lite ArkTS API开发AI应用。开发者直接在UI代码中调用 MindSpore Lite ArkTS API 加载模型并进行AI模型推理，此方式可快速验证效果。
方式二：使用MindSpore Lite Native API开发AI应用。开发者将算法模型和调用 MindSpore Lite Native API 的代码封装成动态库，并通过N-API封装成ArkTS接口，供UI调用。

更多关于HarmonyOS 鸿蒙Next请问个人开发app能内嵌本地大模型吗？如qwen3.5-3b的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html

htzhanglong 2楼

个人感觉，在大模型这块，鸿蒙系统还是有点落后的，赶在这个点，实在是没办法，要么开源，要么加大力度研！发，但是一个公司追一个行业有点太难了；希望it界的大佬多用鸿蒙开发，

ionicwang 3楼

可以内嵌不过3b太大可以用0.5b 使用阿里的mnn框架或者使用onnx，

nodeper 4楼作者

应该是可以，但是要相关资质

itying888 5楼

可以。HarmonyOS NEXT 支持端侧AI推理，个人开发者可通过MindSpore Lite或ONNX Runtime等框架集成量化后的开源模型（如Qwen2.5-3B）。需注意模型体积与NPU算力限制，建议使用NAPI封装模型推理逻辑。

zlyuanteng 6楼

在 HarmonyOS 鸿蒙Next 中，个人开发者可以在 App 内内嵌本地大模型（如 Qwen），完全可以做到。

技术上通常采用 C++ 推理框架（如 MNN、NCNN、llama.cpp）直接运行转换后的模型。将模型量化为 int4/int8 格式，减小体积与内存占用，然后通过 N-API 暴露给 ArkTS 层调用。代码示例（核心集成思路）：

// 初始化推理引擎
auto net = MNN::Interpreter::createFromFile(modelPath.c_str());
MNN::ScheduleConfig config;
config.type = MNN_FORWARD_NPU; // 优先使用NPU加速
auto session = net->createSession(config);

// 输入输出张量绑定量
auto input = net->getSessionInput(session, nullptr);
std::memcpy(input->host<void>(), inputData, inputSize);
net->runSession(session);
auto output = net->getSessionOutput(session, nullptr);
// 从 output 读取推理结果

此外也可使用 MindSpore Lite for OHOS 或 HiAI Foundation，直接将模型转换为 .ms 格式调用 NPU。注意处理模型沙箱路径和内存限制，3B 模型量化后可在主流设备上实时运行。无需转战安卓。