Q22｜关联：大模型发展与RAG技术的关联性？
黄佳
作者介绍：
黄佳，新加坡科研局资深研发工程师
Q：RAG 其实针对的就是一些垂直领域的数据，通过从海量文档中得到需要用到的 Chunk，感觉我们不需要用很大的模型来回答用户的问题，只用一个 400 多兆的文本生成模型也能够完成这个生成任务。那么是否可以这么理解：大模型的发展其实与 RAG 技术并无太大关系？
黄佳：RAG 系统中嵌入模型也很重要，嵌入模型与生成模型同属大模型技术栈，所以并不是没有关系。我们不可能把海量的文档都交给生成模型，还是要做嵌入和检索才行。
RAG 技术的上限取决于嵌入模型对目标数据的表征能力，通过向量空间的嵌入精确地表达一个文档。生成阶段依赖模型能力，而检索阶段更依赖嵌入模型的表征精度。生成大模型与嵌入大模型是共同发展的态势，但训练目标和架构存在差异。两者均涉及将数据映射到向量空间，但生成模型侧重序列预测，嵌入模型侧重语义表征。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《致程序员：AI 百问百答》，新⼈⾸单¥0.11
《致程序员：AI 百问百答》，新⼈⾸单¥0.11
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论