19｜Chunk 的召回精度和粒度，你怎么平衡？
邓明
你好，我是大明。
我在给人复盘面试录音的时候，发现一个规律。如果你在面试中提到了 RAG 并且提到了文档入库切块，那么面试官几乎一定会问一个问题：你们的 Chunk Size 设置成多少？
这个问题看起来很好回答，比如说回答 500、800，或者 1000 个 token。这时候面试官就开始夺命连环问了：为什么是这个数字？为什么不是 300，也不是 1500？
很多候选人到了这里就开始乱答，说是参考了网上的经验，或者测试之后感觉这个数字效果比较好。而这样的回答完全体现不出你的工程思考。
因为 Chunk Size 从来不是一个孤立的配置。切得太小，检索结果虽然精准，却可能只有结论，没有前提和上下文；切得太大，信息虽然完整，却会引入大量噪声，降低召回和排序效果，还会白白占用上下文窗口。
所以，真正需要回答的并不是“Chunk Size 应该设置成多少”，而是你如何在召回精度、信息完整性和上下文成本之间做出平衡。
这一讲，我们就来把这个面试必问的 RAG 问题讲清楚。
文档入库基本流程
在讨论 Chunk 怎么切之前，我们先简单了解一下文档的入库流程。否则你只盯着 Chunk Size，很容易忽略切割前后的其它环节。
一个基础的文档入库流程，大致可以分成下面几个步骤：
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI Agent 系统设计面试现场》，新⼈⾸单¥59
《AI Agent 系统设计面试现场》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论