05|药到病除:知识库机器人常见的三大病症与解药
产品二姐
你好,我是产品二姐。
这节课,我们来聊聊“消费品使用问答助手”落地过程中遇到的问题和解决方法。
在这个产品里我们核心用的技术是 RAG,对于希望转型到 AI 产品经理的同学来说,从 RAG 入门会比较容易,但同时也要明白,RAG 做深很难,就连 OpenAI 的工程师都说 “RAG 比想象中难”。所以这节课,我选择先从最棘手问题入手,然后逐个分析引起这些问题的原因和方法。
我先用一张“诊断表”来列出在 < 消费品使用问答助手 > 中遇到的问题,然后逐一定位问题的成因,以及它们在 RAG 流程中的位置,最终制定解决方案。
问题 1: 明明在知识库中有答案,就是回答不出来!
下图是“消费品使用问答助手”的真实问题,当用户问,“在人机对话时,机器识别不到讲的语音怎么办”。我们肉眼可见在上传的产品说明书里有一个极其贴切的回答:“a. 需要点击对话键,激活对话功能……”。然而,AI 问答助手却给出了非常笼统的回答:“可能多种原因导致的,比如环境噪音……”
相信这时你也会困惑。别着急,我们由表及里一项项检查。
我们知道,RAG 中的内容主要由用户请求和检索到的文本块组成。所以首先要看我们期待的文本块有没有被检索出来。通过 Dify 里的 Tracing 功能我们看到,这里并没有检索出我们期待的文本块。之所以出现这种问题,一般会有两个原因:一是检索方式不合理,二是分块不合理。我们来分别排查。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. RAG技术中的知识检索和分块方式的重要性 2. 解决方法:修正检索方法或对检索词做处理,确保分块内容完全覆盖答案,优化大语言模型的提示词或切换更高阶的大语言模型 3. 怎么把产品说明书中的图片带出来回答?提供了两种方法,即“图文关联法”和“图文转换”法 4. Token消耗太快了,有没有什么降低成本的方法?介绍了两种降低成本的方法,包括用问答对匹配代替RAG减少大模型调用次数和压缩提示,降低 token 量 5. 产品复盘:总结了在<产品使用问答助手>中遇到的实战问题以及解决方法,以及评估人工回答质量和给用户问题打标签的提示词 6. 下节课预习内容:提示词工程的题目预习 7. 思考题:是否将电子说明书改成“智能说明书”,并分享搭建、使用心得 8. 下节课的期待
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《成为 AGI 产品经理》,新⼈⾸单¥59
《成为 AGI 产品经理》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论