24|提示语工程(六):超越智能,让你的AI系统成为全知超人
Tyler
你好,我是 Tyler。
前几节课中,我们学习了如何让大语言模型高效地利用外部记忆,来增强自己的能力。今天这节课,我们重点来学习一下如何高效地存储和检索这些外部记忆。
这其中有两个很重要的问题需要解决。第一是如何表示这些知识,也就是知识表征,只有对知识库中的文档进行合适的表达,才能最精准地检索出我们想要的信息。还有第二个重要问题,完成知识表征以后,我们还需要一个高效的检索方法,在海量的外部记忆信息中检索出我们想要的内容。
这两个问题的解决方案,学完今天的内容你就能掌握。但是真实工业环境中的真实情况往往更加复杂,为了让你能够持续学习,不断应对新的挑战,我还会带你领略工业级外部记忆系统的风采,学习一下阿里巴巴开源的 HA3 这个外部记忆引擎如何应用。
知识表征技术
首先,我们来聊聊知识表征,知识表征中常见的方法有很多,这里我列出了一些主流方法,其中很多内容我们之前已经学习过了。在这节课呢,我来带你梳理总结一下你所学过的这几个方法的区别,为了方便你查看,我特意梳理成了表格的形式。
首先是倒排索引,这是知识表征技术中最经典的技术之一,直接通过文档中的字面关键词,作为文档的特征表示。
接下来是嵌入表征,它是利用知识在高维空间的映射,来表示知识的语义信息。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文介绍了如何让AI系统成为全知超人的方法。首先讨论了知识表征技术,包括倒排索引、嵌入表征和知识图谱等方法。重点介绍了嵌入表征方法的应用,以及向量检索引擎的最大内积搜索(MIPS)原理和常用检索算法。接着讨论了向量检索数据库的挑战,包括超大规模索引的精度和效率问题,以及高维数据的处理问题。最后,介绍了如何搭建多路召回环境,使用阿里巴巴开源的外部记忆引擎进行实验。通过配置环境和安装依赖包,读者可以学习如何应用外部记忆引擎来构建工业级知识系统。 文章还提到了HA3正在拥抱大语言模型,支持chatglm的配置,以及openAI API的方式调用。此外,还介绍了通过HA3来存储人工智能小镇智能体的记忆流。整体来看,本文深入探讨了向量表征技术在AI领域的应用,以及外部记忆引擎在构建工业级知识系统中的重要作用。读者可以通过本文了解到最新的技术趋势和应用场景,为进一步深入研究提供了有益的参考。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型系统实战》,新⼈⾸单¥59
《AI 大模型系统实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论