17｜如何设计一个面试中富有竞争力的上下文管理机制？

邓明

你好，我是大明。
前面几讲，我们陆续讨论了分层上下文、上下文窗口编排、摘要压缩、细节召回、用户画像以及长任务处理。
那么现在问题来了：这些东西怎么组合起来，形成一套面试中富有竞争力的上下文管理机制？
一般来说，很多人在面试中聊到上下文管理，只能提到短期记忆、长期记忆和滑动窗口算法，比如说常见的套路就是：
最近几轮对话直接放进 Prompt；
更早的对话做摘要；
长期记忆放进向量数据库；
用户再次提问的时候，从向量数据库里面检索几条；
如果上下文太长，就截断前面的内容。
但是如果只有这些，无法在面试中赢得竞争优势。它的问题是，这套回答只能证明你知道上下文窗口有限，也知道向量数据库，但是无法证明你真的构建过复杂 Agent。
如果你求职的薪资比较高，那么你就更加要小心面试官的夺命连环问：
为什么这些内容要放进窗口？
为什么另外一些内容不放？
用户的硬约束怎么保证不丢？
摘要丢掉了细节怎么办？
检索出多条互相冲突的内容怎么办？
用户今天说喜欢苹果，明天又说不喜欢苹果，你的画像怎么更新？
你怎么知道自己的上下文管理策略有效？
所以，一套有竞争力的上下文管理机制，不能只回答“上下文存在哪里”，而要回答一个更加完整的问题，即：什么内容，应该在什么时间，以什么形式、什么粒度和什么顺序，进入当前的大模型窗口？

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI Agent 系统设计面试现场》，新⼈⾸单¥59

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论