12｜上下文窗口：怎么设计一个动态编排的 Context 策略？
邓明
你好，我是大明，今天我们继续讨论 Context 和 Context Window。
上一讲我们只是构建了一个基本的 Context 的抽象，讨论了滑动窗口算法，并且进一步讨论了怎么对 Context 进行分层。
这一讲我们要进一步深入讨论 f 的具体算法，也就是讨论什么东西应该放进大模型窗口，传递给大模型；哪些不需要。
在这些内容的基础上，我会引入一个动态编排的机制，它会给你塑造一个基本的框架，允许你参考这个框架设计不同的窗口编排算法。面试中用起来效果极佳，不可错过。下面我们先来学习一点基础知识。
Prompt Prefix Cache
这是大模型里面的一个赫赫有名的机制，叫做 Prefix Cache。
你可以直接类比到 SQL 层面上的前缀索引。也就是说，如果你的 Prompt 的前缀部分是一样的，那么它就可以利用之前推理的缓存，快速推理下去。相当于这部分相同的内容就不需要从 0 开始推理了。
下图是一个不太严谨的示例，但是能够帮助你理解。
基础方案
这个基础方案，有一个很不错的名字，叫做 Context Compiler。这个方案不是单纯拼 Prompt，而是带有明显的工程化意味，而且 Compiler 这个词一听就非常高级。
整体抽象可以看作是这样：
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI Agent 系统设计面试现场》，新⼈⾸单¥59
《AI Agent 系统设计面试现场》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论