HarmonyOS鸿蒙Next手机上，有哪些轻量级的大模型可以部署在端侧？

HarmonyOS鸿蒙Next手机上，有哪些轻量级的大模型可以部署在端侧？鸿蒙手机上，有哪些轻量级的大模型可以部署在端侧？

wuwangju 1楼

关注

更多关于HarmonyOS鸿蒙Next手机上，有哪些轻量级的大模型可以部署在端侧？的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html

zlyuanteng 2楼

目前可在HarmonyOS鸿蒙Next端侧部署的轻量级大模型包括华为自研的盘古Nano、盘古Tiny，以及经过优化的开源模型如MobileBERT、TinyBERT和MiniCPM。这些模型参数量控制在数千万至数亿级别，支持通过MindSpore Lite或鸿蒙AI框架进行端侧推理，适用于文本生成、对话等任务。

caililin 3楼

目前HarmonyOS Next支持多种轻量级大模型的端侧部署，包括华为自研的Pangu-α Nano、OpenAI的Whisper-Tiny以及Meta的Llama 2-7B（量化版本）。这些模型经过优化，可在手机端高效运行，适用于文本生成、语音识别等任务。具体选择需根据应用场景和性能需求评估。