23|他山之石:GraphRAG等13种RAG前沿技术
叶伟民
你好,我是叶伟民。
上一节课我们学习了如何查看 LangChain、LlamaIndex 源码学习改进 RAG 质量的技术。然而 LangChain、LlamaIndex 并没有囊括所有 RAG 技术,所以同学们看完这些技术的所有文档可能还是找不到解决自己问题的方法。
那该怎么办呢?这时候我们就需要看看其他 RAG 技术能否解决我们的问题了。这里我会列出我接触、研究过的 13 种 RAG 前沿技术。我们首先从最近大火的 GraphRAG 开始。
GraphRAG
GraphRAG 是一种结合了知识图谱的检索增强生成技术,旨在通过构建知识图谱和社区检测算法,提升大模型在理解和生成复杂信息方面的能力。它通过图结构信息,能够更精确地检索和生成与上下文相关的回答,从而在处理大规模数据集时展现出显著的性能提升。
原理
从上面这段描述里我们看到,GraphRAG 是基于知识图谱的,因此它是基于图的方式去检索知识的。
而传统 RAG 多采用简单直接的方式——将文档简化为文本字符串,切割成零碎段落,再映射到向量空间,实现语义相似度的展现,这也是我们在第 3 章所讲过的内容。然而,这种方式有一个明显的缺陷,就是偏重局部文本匹配,忽略了整体数据的全面理解。
这样讲还是很抽象,我们举个简单的例子。假设我们要问 RAG 应用这么一个问题:菩提祖师和唐僧之间的关系是什么?
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. GraphRAG是一种结合了知识图谱的检索增强生成技术,适用于处理超长文档和复杂关系,能够更精确地检索和生成与上下文相关的回答。 2. GraphRAG的优势在于擅长处理针对超长文档的复杂提问,能够挖掘出超长文档里的实体和关系,从而回答涉及到关系的提问。 3. GraphRAG的缺点在于门槛、算力成本、时间成本、人力成本都很高,且知识正确入库是一个难点。 4. GraphRAG适用于基于社交关系的风控系统等场景,但不适合初学者入门。 5. 其他12种RAG技术包括知识入库相关技术和检索相关技术,如按照语义分块入库、按树入库、分层入库、信息压缩入库等。 6. 检索相关技术包括综合应用多种过滤技术、投票和加权检索、分解成子查询再整合、多轮检索、AI智能体检索、预生成问题和回答等方法。 7. 对知识重新排序和结合用户反馈的回答是两种排序和回答的相关技术,可以帮助解决RAG技术中的知识入库和检索问题,提升大模型在理解和生成复杂信息方面的能力。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《RAG 系统实战课 》,新⼈⾸单¥59
《RAG 系统实战课 》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论