09｜构建能够读图的基于PDF的RAG系统

黄佳

你好，我是黄佳。
在前两节课中，我们探讨了如何利用 ChatGPT 等大语言模型，通过精心设计的多步骤提示流程，自动生成 Python 单元测试代码以及 SQL 查询语句。这些示例生动地展示了提示工程的威力，以及语言模型在软件开发领域的广阔应用前景。
现在，我们将目光转向另一个更具挑战性的任务：构建一个能够读出 PDF 文档中的“图”的高级 RAG（Retrieval-Augmented Generation）系统。RAG 是一种将知识检索与语言生成相结合的系统，它先从外部知识库中检索出相关信息，然后将这些信息作为额外的输入，辅助模型生成更加准确和与问题相关的输出。因为 RAG 可以不断更新其所检索的数据源，适应新的信息和趋势，从而保持其回答的相关性和准确性。
RAG 基本流程
RAG 这个概念今年非常火爆，被很多人誉为是大模型技术落地第一站，而结合我平时的项目情况来看，事实也的确如此。这种技术之所以备受关注并被视为大模型落地的重要方向，主要有这样几个原因。
知识增强：RAG 系统通过在生成过程中融入从外部知识库检索到的相关信息，使得模型能够利用更广泛、更准确的知识来完成任务。这大大提升了模型应对知识密集型任务的能力，如问答、对话、文档生成等。
可解释性：传统的端到端生成模型通常被视为一个黑盒子，难以解释其输出结果的依据。而 RAG 系统可以明确指出输出结果所引用的外部知识来源，增强了模型的可解释性和可信度，这对于许多需要结果可追溯、可验证的应用场景非常重要。
可扩展性：RAG 系统的知识库是独立于模型训练的，这意味着我们可以灵活地扩充和更新知识，而无需重新训练模型。这种解耦设计使得 RAG 系统可以较容易地适应不同领域、不同规模的应用需求。
数据效率：与从零开始训练大模型相比，RAG 系统可以更有效地利用外部知识，在较小的数据规模下取得不错的效果。这在实际应用中意味着更低的数据收集和标注成本。
技术成熟度：RAG 系统所涉及的信息检索、语义匹配、语言生成等技术在近年来都取得了长足进展。一些开源的 RAG 实现方案，如 LangChain、LlamaIndex，以及 OpenAI 的 Assistants 中提供的功能，都已经使得构建 RAG 系统的门槛大大降低，推动了其在业界的应用落地。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
中文繁体
法语
德语
日语
韩语
俄语
西班牙语
阿拉伯语
解释
总结

1. RAG系统是一种将知识检索与语言生成相结合的系统，通过从外部知识库中检索相关信息，辅助模型生成更准确和与问题相关的输出。 2. RAG系统的优势包括知识增强、可解释性、可扩展性、数据效率和技术成熟度。 3. 构建基于PDF的RAG系统的基本思路是将PDF文件中的文本和图像信息组合起来，以提高查询匹配的质量。 4. 通过使用GPT-4V进行图像分析，可以实现基于图像的内容描述和理解，从而为RAG系统提供更多的信息来源。 5. 通过将文本内容和图像描述匹配起来，可以提高RAG系统的信息匹配质量和准确性。 6. RAG代表了一种知识驱动的AI范式，结合了检索系统的精确信息获取能力和语言模型的流畅文本生成能力，适合在问答系统、对话生成或内容摘要等自然语言处理任务中使用。 7. RAG技术有望进一步发展，融合更先进的知识表示、推理和学习机制，成为连接大模型技术和行业应用的重要桥梁。 8. 在处理PDF图像时，使用GPT-4V提取图片信息，然后与页面文本匹配，但在处理图文不对齐、图表缺失标题等情况时可能会遇到困难，需要改进。 9. 在生成回复时，设置相似度阈值来决定是否使用更多的匹配内容，但需要考虑如何选取合适的阈值以及其他策略用于筛选和排序匹配内容。

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大模型应用开发实战》，新⼈⾸单¥59

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论