04|用Assistants中的File search(RAG)工具做知识检索
黄佳
你好,我是黄佳。
上一课中,我们学习了如何基于 Code Interpreter 做自然语言驱动的数据分析。今天我们来看 Assistant 中的最后一个,也是超级强大的工具 —— File search(原名 Retrieval,也就是文件检索,或者叫 RAG)。通过 File search,你的 Assistant 将获得从外部知识库中检索信息的能力,犹如装备了“千里眼”。
Playground 中 Assistant 的 File search 工具
根据 OpenAI 的说法,目前新版本可以检索多至 10000 个文档,果真如此,则 OpenAI Assistants 实在是一个强大的智能助理。
什么是 File search(Retrieval)
File search 或 Retrieval 就是“检索”,是赋予 Assistant 查阅外部知识的能力。外部知识可以是你的企业内部文档、产品说明书、客户反馈等各种非结构化数据。有了这些额外的知识补充,Assistant 可以更好地理解用户需求,给出更加准确、个性化的回复。
“检索”的实现原理并不复杂。当你上传一份文档后,OpenAI 会自动对文档分块、创建索引,并使用向量搜索从中检索与用户查询最相关的内容。这一切都在 File search 工具内部自动完成,作为开发者的你并不需要关心其中的细节(当然,在后面的课程中,我也会带着你手动实现具体 RAG 步骤)。现在,你只管把数据“喂”给 File search 工具就可以啦。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. File search(Retrieval)是Assistant中的一个功能,可以让Assistant从外部知识库中检索信息,提高回复的准确性和个性化。 2. File search通过向量搜索从文档中检索与用户查询最相关的内容,为Assistant提供了外部知识的补充。 3. RAG(Retrieval-Augmented Generation)将Retrieval和LLM结合,赋予了LLM利用外部知识库进行问答的能力,提高了回答的准确性和可解释性。 4. OpenAI的向量存储库允许通过语义和关键字搜索文件内容,支持高级搜索功能,包括语义搜索和关键字搜索。 5. 向量存储库可以包含多达10,000个文件,每个助手和每个线程最多可以附加一个向量存储库,文件限制为512 MB和500万个令牌。 6. OpenAI的Assistant的文件搜索功能支持多种文件格式,如PDF、Markdown和DOCX,以适应不同的文档类型. 7. RAG为大语言模型带来了知识库这个强大的“外挂”,必将带来智能对话领域的新变革。 8. File search赋予了大语言模型从外部知识库中检索信息的能力,让其从单纯的“语言模型”升级为更加智能和全能的“知识工作者”。 9. RAG让大语言模型拥有了更广阔的“知识视野”,能够借助外部信息来回答更加开放和专业的问题,其潜力之大,令人无限遐想。 10. OpenAI在其Assistant产品中提供了一个极简版的Retrieval工具,让开发者无需搭建和训练复杂的RAG模型,即可实现基于特定领域知识的智能对话功能。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大模型应用开发实战》,新⼈⾸单¥59
《大模型应用开发实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- qinsichatgpt刚出来那会看到铺天盖地炒作AI是下一代的搜索引擎时就觉得纳闷,没有时效性,胡言乱语,甚至参考资料都可以编造出来的玩意儿要怎么取代搜索引擎?有了rag以后感觉似乎有希望了,不过那么久了还没看到商业上成功的AI搜索引擎出现又是为什么?2024-05-27归属地:上海1
收起评论