23｜搜索与问答系统如何识别“幻觉”与事实偏差
赵帅
你好，我是赵帅。
今天我们要来聊一个对大模型来说特别容易露馅的场景，问答系统和搜索助手。很多用户都希望模型可以像百科全书一样，不分类目、随问随答，答案权威且精准。但你有没有发现？有时候模型回答得头头是道，可你一查，根本没这回事，这就是我们常说的幻觉问题。在搜索和问答场景里特别突出，幻觉更容易被误信，因为它披着知识的外衣，看起来特别像真话。
这一节课，我们就聚焦在这类事实偏差上，带你拆解搜索与问答系统为什么容易犯错，幻觉到底是怎么生成的，又该怎么识别和应对。
为什么搜索与问答系统特别容易出现“幻觉”
如果你使用大模型问一些知识性问题，比如“谁是第一个注册抖音的人？这个人会看到什么视频？”或者“某政策现在是否已经生效？”，你会发现模型几乎从不说“不知道”。
无论它有没有把握，都会给你一个看起来合理的答案。
为什么？因为问答类模型几乎都有一个很强的答复责任感，它天生被训练为输出完整句子，而不是保持沉默。所以在数据缺乏或者模糊的情况下，它也倾向于编出一个自洽的答案。
在搜索场景中，还有另一个更隐蔽的问题，即伪检索感知。很多人以为，只要接入了搜索引擎或是文档库，模型输出的内容就一定靠谱。但事实并非如此，大多数模型并不会像传统搜索那样查到就贴，而是将检索结果作为生成参考。换句话说，它不一定真实引用了那条内容，而是根据看到的内容生成了看起来像的句子，这就会带来四类典型幻觉现象。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 问答系统容易出现“幻觉”和事实偏差，需要采取措施降低幻觉率，如引入Retriever+Reader架构和知识注入微调。 2. 识别幻觉内容的方法包括“三问法”和使用工具方法如支持链分析和RAG类模型的信源比对能力。 3. 挑战在于自动化幻觉检测仍面临语言和事实错配的结构性问题，需要探索基于外部知识图谱的核查系统和多模型一致性投票等方向。 4. 企业部署时需要建立可追溯的答案链和接入实时知识源，构建信源透明度以降低风险。 5. 幻觉问题在知识型问答中频繁出现，需要思考如何设计一个“幻觉识别”的自动化机制，重点思考优先检查哪些内容。 6. 在教育类产品中，需要面对如何防止模型对儿童说出不当内容的挑战。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大模型安全实战课》，新⼈⾸单¥59
《大模型安全实战课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论