16｜对话引擎（上）：理解对话链路与流式技术选型
Robert
你好，我是 Robert。
上一讲我们创建了智能客服 Agent，名字、Prompt、模型、参数都配好了，但它现在还不能说话。Agent 只是一份配置，需要对话引擎来驱动它。
对话引擎是 Hify 最核心的模块。没有它，前面做的模型管理、适配层、Agent 配置都只是准备工作。这一讲和下一讲会把对话引擎做完。
和 15 讲学 Agent 一样，我们先搞清楚对话引擎到底是什么，再动手。
对话引擎是什么
在 AI 应用平台里，对话引擎是什么？它的职责是什么？和普通的 HTTP 接口调用有什么区别？
Claude Code 的回答帮我建立了认知：对话引擎不是一个简单的“转发器”，不是把用户的话原封不动发给 LLM，再把回复原封不动传回来。它是连接用户和 LLM 的一条处理管道，中间要做很多事。
会话管理。用户和智能客服聊了十轮，这十轮属于同一次对话。对话引擎要维护“会话”的概念，哪些消息属于同一次对话、会话什么时候创建、什么时候结束。
上下文拼装。LLM 本身没有记忆。你问完“Hify 怎么创建 Agent”，再问“那怎么配置模型”，LLM 不知道“那”指的是什么。对话引擎要把 System Prompt + 历史消息 + 当前消息拼成一个完整的 messages 数组，每次调用都带上上下文，让 LLM “看起来”有记忆。
流式响应。LLM 生成一个完整回复可能要十几秒。如果等全部生成完再返回，用户要盯着空白页面干等。对话引擎要做流式推送，LLM 生成一个字就推一个字给前端，用户看到的是像人打字一样一个字一个字冒出来。这就是 ChatGPT 的打字机效果。
消息存储。对话结束后，用户消息和 AI 回复要持久化到数据库。用户下次打开能看到历史记录，管理员能做数据分析。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《Claude Code 企业级全链路开发实战》，新⼈⾸单¥59
《Claude Code 企业级全链路开发实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论