HarmonyOS 鸿蒙Next系统大模型本地化部署

HarmonyOS 鸿蒙Next系统大模型本地化部署 机型:matepad edge
系统:鸿蒙OS 5.0
问题:下载了cherry studio之后,设置里本地AI模型已选中系统设置里下载的本地大模型,但在添加知识库选择嵌入模型时没有本地大模型的选项
图片


更多关于HarmonyOS 鸿蒙Next系统大模型本地化部署的实战教程也可以访问 https://www.itying.com/category-93-b0.html

2 回复

鸿蒙Next系统大模型本地化部署基于端云协同架构,通过模型小型化、动态加载与设备端推理框架实现。系统提供本地AI引擎与NPU硬件加速,支持模型在设备端离线运行。部署流程涉及模型转换、安全沙箱隔离与资源调度管理。

更多关于HarmonyOS 鸿蒙Next系统大模型本地化部署的实战系列教程也可以访问 https://www.itying.com/category-93-b0.html


根据您提供的信息,问题核心在于:在Cherry Studio中,虽然系统设置里已成功下载并选中了本地大模型,但在创建知识库、选择“嵌入模型”时,下拉列表中却没有出现该本地模型的选项。

这通常不是一个故障,而是由于**“对话模型”与“嵌入模型”角色和用途不同导致的。HarmonyOS Next的本地大模型(如您下载的盘古等模型)主要设计用于对话生成、内容理解和续写**等任务,属于“对话模型”或“文本生成模型”。

而“嵌入模型”是专门用于知识库检索的模型。它的作用是将文本(如您上传的文档内容)转换为高维向量(即“嵌入”),并存储到向量数据库中。当您提问时,问题也会被转换成向量,系统通过比对向量相似度来从知识库中查找最相关的片段,再将片段交给上层的“对话模型”去生成最终答案。这是一个标准的RAG(检索增强生成)架构。

因此,当前HarmonyOS Next的本地大模型可能尚未包含或开放“嵌入模型”这一特定功能模块。在Cherry Studio的知识库设置中,“嵌入模型”选项列表里通常只提供云端专用的嵌入模型(或未来会更新加入本地嵌入模型),这是由其技术架构决定的。

当前可验证和操作的步骤:

  1. 确认模型用途:请回到系统设置的“本地AI模型”或模型详情页,查看该模型的官方描述,确认其是否明确支持“嵌入”或“文本表征”任务。目前首批本地大模型主要聚焦于对话能力。
  2. 检查Cherry Studio版本:确保您的Cherry Studio应用已更新至最新版本,以兼容最新的系统模型能力。
  3. 知识库创建:在创建知识库时,“嵌入模型”下拉列表如果只有云端选项,说明当前版本暂不支持使用您下载的本地大模型作为嵌入器。您需要从现有列表中选择一个可用的云端嵌入模型来完成知识库的构建。这不会影响您后续使用本地大模型进行对话,因为知识库检索(嵌入模型)和答案生成(对话模型)是两个独立的环节。

总结:您遇到的选项缺失情况,大概率是因为您下载的本地大模型是“对话模型”,而知识库构建步骤需要的是专门的“嵌入模型”。两者功能不同,目前系统可能尚未将本地模型的嵌入能力集成到Cherry Studio的该选项中。请先选用可用的云端嵌入模型继续知识库的创建流程。

回到顶部