14｜输出内容把关：如何精准识别违规生成？

赵帅

你好，我是赵帅，欢迎来到我们的第 14 课。
上节课我们专门讲了提示词防线，也就是如何在用户的输入进入模型之前就提前识别风险，把那些诱导性强、试图套出系统提示词的提示语拦在门外。我们聊到了关键词拦截、语义匹配、系统提示结构的隐蔽性包装，还实战搭建了一个提示词过滤器的原型系统。
但是，你有没有发现，就算你把提示词防住了，攻击者也还有别的办法让模型说出违规内容。比如，通过灰色语言暗示、多轮绕弯构造上下文、调用插件工具间接输出……这些方式都会让模型说出一些不恰当的内容，而且很能能你事后才会意识到不对劲。
所以，今天我们要继续把防线往后推进，也就是你已经在模型处理前做了防护，现在我们要关注模型处理后的问题，即模型已经生成了一段文本，怎么判断它是否合规？判断完之后怎么处理？哪些话需要拦截？哪些话需要修改？哪些话可以提示用户改写后再试试？
这节课，我们就从输出内容审核这个角度，把生成环节的最后一道关口讲清楚。
生成后审查：第一道屏障，还是最后一道？我们在前面几节课里，其实已经讲到很多安全防护，是在模型生成之前操作的，比如控制 Prompt、限制调用权限、绕过检测等。但你有没有想过一个问题，如果前面的防线都没拦住，模型已经生成了一段内容，我们还能怎么办？

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

1. 生成后审查机制是模型处理后的最后一道关口，负责检查模型生成的文字是否存在违禁信息、错误引导、敏感内容，或其他平台不允许的输出。 2. 生成后审查机制的重要性对于面向公众开放的大模型服务平台尤为突出，需要构建一套生成后审查系统，具备分类识别能力、违规信息拦截能力，以及给出可解释性的拦截理由。 3. 生成后审查可以作为第一道防线，也可以作为最后一道防线，取决于模型的部署方式，私有模型供内部使用可以考虑稍稍放松前置限制，而面向公众开放的模型则建议使用预审+后审双重机制。 4. 生成后审查机制的演进历程从简单的关键词匹配发展到上下文语义理解，采用额外部署轻量级的语义审查模型，如BERT、RoBERTa，来判断模型回答内容是否合规。 5. 输出把关时需要明确什么算是越界，包括法律法规明确禁止的内容、道德伦理高度敏感的内容、涉及个人隐私的输出以及公共安全边界上的内容，审查系统必须支持分级响应，不能一刀切，也不能放任自由.

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大模型安全实战课》，新⼈⾸单¥59

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论