09|敏感信息防范:模型会“记住”用户隐私吗?
赵帅

你好,我是赵帅。欢迎来到我们课程的第 9 课。
在前面的课程中,我们探讨了大模型的安全架构和风险类型。今天,我们将深入讨论一个关键但常被忽视的领域——个人可识别信息(PII)的保护。
为什么隐私泄露是生成式大模型的常见风险?
你可能听说过一个经典案例:2023 年,意大利曾经短暂禁用过 ChatGPT,因为有用户发现 ChatGPT 在特定场景下竟然泄露了其他用户的邮箱地址和电话号码。

这种“数据再现”的问题并非个例,而是大语言模型本质机制带来的普遍风险——大模型在训练时,会尽可能地“记住”训练语料中的模式,这其中难免包括敏感的个人信息(PII,Personal Identifiable Information)。
需要说明的是,大模型的训练并不是单纯仅仅指代 pre-training,也包括 post-training(也就是我们常说的监督微调 SFT)。试想一下,我在使用大模型的时候,告知了大模型“我是一名亚洲男性,我的身高和体重的数据,我希望大模型为我制定一个健身计划……”,在日后的某个时间段内,你在使用大模型探讨某项体育运动的时候,大模型向你透露了我的个人信息,这就是我们要说的 PII 安全。
PII 安全不是模型恶意设计的,它是无意中在生成内容时将信息泄露出去,但它本身并不知道这是“隐私”。在企业级大模型应用中,比如用户在一次咨询中提供了电话号码或者身份证号,模型下一次回答类似问题时,无意识地引出了这些信息,这就导致了严重的数据隐私泄露风险,尤其是在医疗、金融、政务、工业制造等对数据敏感度极高的领域,影响更为深远。
公开
同步至部落
取消
完成
0/2000
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结

1. 大模型在训练时会“记住”训练语料中的模式,可能导致数据隐私泄露风险,因此需要有效的PII保护方案。 2. 数据脱敏是保护个人可识别信息(PII)的重要手段,常见方法包括替换法、屏蔽法和泛化法。 3. 推荐使用开源工具Faker和Presidio进行数据脱敏,Faker用于生成随机数据替代真实PII数据,Presidio用于自动检测和脱敏敏感信息。 4. 在实际大模型部署场景中,应设计有效的PII保护方案,包括数据入库前强制脱敏、生产系统动态脱敏、隐私安全审计与监控以及建立数据权限与生命周期管理。 5. 进阶安全工具与技术推荐包括数据访问追踪技术、字段级加密和令牌化,以构建更完善、更严密的PII保护机制。 6. 课程总结强调了大模型在处理用户数据时可能面临的隐私风险,以及PII的保护策略和具体工具的重要性。 7. 思考题提供了针对PII泄露问题的实际案例和设计机制的思考,引发对PII保护的深入思考和讨论。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大模型安全实战课》,新⼈⾸单¥59
《大模型安全实战课》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
- 澄数据脱敏也可以用godlp。2025-07-28归属地:山东
收起评论