HarmonyOS鸿蒙Next小艺开放平台的工作流中,大模型节点目前好像都是内容生成完后才有结果返回,有没有办法可以输出思考内容或者进行流式输出,这个节点设计上就是一次性返回结果吗
HarmonyOS鸿蒙Next小艺开放平台的工作流中,大模型节点目前好像都是内容生成完后才有结果返回,有没有办法可以输出思考内容或者进行流式输出,这个节点设计上就是一次性返回结果吗 小艺开放平台的工作流中,大模型节点目前好像都是内容生成完后才有结果返回,有没有办法可以输出思考内容或者进行流式输出,这个节点设计上就是一次性返回结果吗
3 回复
大模型节点目前设计为一次性返回生成结果,不支持实时输出思考过程或流式输出。节点处理完成后统一返回最终内容,无法在生成过程中获取中间状态。这是当前平台的工作流设计限制。
目前,HarmonyOS Next的小艺开放平台工作流中的大模型节点,其设计初衷是处理相对完整的生成任务,并一次性返回最终结果。这种设计主要考虑了工作流节点的通用性、稳定性和易用性,确保下游节点能够接收到结构完整、可预测的数据进行后续处理。
关于您提到的“输出思考内容”或“流式输出”,这通常属于更细粒度的模型交互控制。在当前的工作流节点设计框架下,确实主要面向“输入-处理-完整输出”的范式。要实现类似“思考过程”的中间输出或持续的流式输出,可能需要通过其他方式间接实现,例如:
- 调整任务设计:将需要“思考”或“流式”输出的复杂任务,拆解为多个顺序执行的大模型节点调用,前一个节点的输出(可作为中间结果)作为后一个节点的输入或参考。
- 利用API底层能力:如果您的应用场景对实时性、交互性要求极高,需要真正的token级流式输出,可能需要评估直接调用大模型提供的底层API接口(如果开放)的可能性,但这通常需要更复杂的集成开发,并可能超出工作流节点的封装范畴。
总结来说,工作流中的大模型节点当前的设计侧重于提供稳定、完整的生成结果,以简化在可视化工作流中的集成和使用。对于需要中间过程反馈或流式输出的高级交互场景,建议结合任务拆解或评估其他集成方案来满足需求。


