Orange

主题

对话模型(Chat Model) ​

ChatModel API 让应用开发者可以非常方便的与 AI 模型进行文本交互，它抽象了应用与模型交互的过程，包括使用 Prompt 作为输入，使用 ChatResponse 作为输出等。

Chat Model 的工作原理 ​

对话模型（Chat Model）接收一系列消息（Message）作为输入，与模型 LLM 服务进行交互，并接收返回的聊天消息（Chat Message）作为输出。

001

  • 启动配置(Start Up Chat Options)：Chat Model或StreamingChatModel初始化时的默认配置选项
  • 运行时配置(Runtime Chat Options): 在对话时，提示词(Prompt)可能携带一些配置选项，该配置选项将覆盖默认配置(Start Up Chat Options)
  • 选项合并(Option Merging Process)：将Start Up Chat Options和Runtime Chat Options配置进行合并，如果Start Up Chat Options和Runtime Chat Options存在相同选项，使用Runtime Chat Options中的选项。
  • 输入处理(Input Processing)：将输入的各种执行指令转为模型专用的格式
  • 输出处理(Output Processing):将模型的响应转换为标准化的ChatResponse格式。

已实现的 Chat Model ​

002