大模型应用开发实战
黄佳
新加坡科研局首席研究员
951 人已学习
新⼈⾸单¥59
大模型应用开发实战
15
15
1.0x
00:00/00:00
登录|注册

04|用Assistants中的File search(RAG)工具做知识检索

你好,我是黄佳。
上一课中,我们学习了如何基于 Code Interpreter 做自然语言驱动的数据分析。今天我们来看 Assistant 中的最后一个,也是超级强大的工具 —— File search(原名 Retrieval,也就是文件检索,或者叫 RAG)。通过 File search,你的 Assistant 将获得从外部知识库中检索信息的能力,犹如装备了“千里眼”。
Playground 中 Assistant 的 File search 工具
根据 OpenAI 的说法,目前新版本可以检索多至 10000 个文档,果真如此,则 OpenAI Assistants 实在是一个强大的智能助理。

什么是 File search(Retrieval)

File search 或 Retrieval 就是“检索”,是赋予 Assistant 查阅外部知识的能力。外部知识可以是你的企业内部文档、产品说明书、客户反馈等各种非结构化数据。有了这些额外的知识补充,Assistant 可以更好地理解用户需求,给出更加准确、个性化的回复。
“检索”的实现原理并不复杂。当你上传一份文档后,OpenAI 会自动对文档分块、创建索引,并使用向量搜索从中检索与用户查询最相关的内容。这一切都在 File search 工具内部自动完成,作为开发者的你并不需要关心其中的细节(当然,在后面的课程中,我也会带着你手动实现具体 RAG 步骤)。现在,你只管把数据“喂”给 File search 工具就可以啦。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

1. File search(Retrieval)是Assistant中的一个功能,可以让Assistant从外部知识库中检索信息,提高回复的准确性和个性化。 2. File search通过向量搜索从文档中检索与用户查询最相关的内容,为Assistant提供了外部知识的补充。 3. RAG(Retrieval-Augmented Generation)将Retrieval和LLM结合,赋予了LLM利用外部知识库进行问答的能力,提高了回答的准确性和可解释性。 4. OpenAI的向量存储库允许通过语义和关键字搜索文件内容,支持高级搜索功能,包括语义搜索和关键字搜索。 5. 向量存储库可以包含多达10,000个文件,每个助手和每个线程最多可以附加一个向量存储库,文件限制为512 MB和500万个令牌。 6. OpenAI的Assistant的文件搜索功能支持多种文件格式,如PDF、Markdown和DOCX,以适应不同的文档类型. 7. RAG为大语言模型带来了知识库这个强大的“外挂”,必将带来智能对话领域的新变革。 8. File search赋予了大语言模型从外部知识库中检索信息的能力,让其从单纯的“语言模型”升级为更加智能和全能的“知识工作者”。 9. RAG让大语言模型拥有了更广阔的“知识视野”,能够借助外部信息来回答更加开放和专业的问题,其潜力之大,令人无限遐想。 10. OpenAI在其Assistant产品中提供了一个极简版的Retrieval工具,让开发者无需搭建和训练复杂的RAG模型,即可实现基于特定领域知识的智能对话功能。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大模型应用开发实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • qinsi
    chatgpt刚出来那会看到铺天盖地炒作AI是下一代的搜索引擎时就觉得纳闷,没有时效性,胡言乱语,甚至参考资料都可以编造出来的玩意儿要怎么取代搜索引擎?有了rag以后感觉似乎有希望了,不过那么久了还没看到商业上成功的AI搜索引擎出现又是为什么?
    2024-05-27归属地:上海
    1
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)