09｜敏感信息防范：模型会“记住”用户隐私吗？
赵帅
你好，我是赵帅。欢迎来到我们课程的第 9 课。
在前面的课程中，我们探讨了大模型的安全架构和风险类型。今天，我们将深入讨论一个关键但常被忽视的领域——个人可识别信息（PII）的保护。
为什么隐私泄露是生成式大模型的常见风险？
你可能听说过一个经典案例：2023 年，意大利曾经短暂禁用过 ChatGPT，因为有用户发现 ChatGPT 在特定场景下竟然泄露了其他用户的邮箱地址和电话号码。
这种“数据再现”的问题并非个例，而是大语言模型本质机制带来的普遍风险——大模型在训练时，会尽可能地“记住”训练语料中的模式，这其中难免包括敏感的个人信息（PII，Personal Identifiable Information）。
需要说明的是，大模型的训练并不是单纯仅仅指代 pre-training，也包括 post-training（也就是我们常说的监督微调 SFT）。试想一下，我在使用大模型的时候，告知了大模型“我是一名亚洲男性，我的身高和体重的数据，我希望大模型为我制定一个健身计划……”，在日后的某个时间段内，你在使用大模型探讨某项体育运动的时候，大模型向你透露了我的个人信息，这就是我们要说的 PII 安全。
PII 安全不是模型恶意设计的，它是无意中在生成内容时将信息泄露出去，但它本身并不知道这是“隐私”。在企业级大模型应用中，比如用户在一次咨询中提供了电话号码或者身份证号，模型下一次回答类似问题时，无意识地引出了这些信息，这就导致了严重的数据隐私泄露风险，尤其是在医疗、金融、政务、工业制造等对数据敏感度极高的领域，影响更为深远。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 大模型在训练时会“记住”训练语料中的模式，可能导致数据隐私泄露风险，因此需要有效的PII保护方案。 2. 数据脱敏是保护个人可识别信息（PII）的重要手段，常见方法包括替换法、屏蔽法和泛化法。 3. 推荐使用开源工具Faker和Presidio进行数据脱敏，Faker用于生成随机数据替代真实PII数据，Presidio用于自动检测和脱敏敏感信息。 4. 在实际大模型部署场景中，应设计有效的PII保护方案，包括数据入库前强制脱敏、生产系统动态脱敏、隐私安全审计与监控以及建立数据权限与生命周期管理。 5. 进阶安全工具与技术推荐包括数据访问追踪技术、字段级加密和令牌化，以构建更完善、更严密的PII保护机制。 6. 课程总结强调了大模型在处理用户数据时可能面临的隐私风险，以及PII的保护策略和具体工具的重要性。 7. 思考题提供了针对PII泄露问题的实际案例和设计机制的思考，引发对PII保护的深入思考和讨论。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大模型安全实战课》，新⼈⾸单¥59
《大模型安全实战课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
澄数据脱敏也可以用godlp。2025-07-28归属地：山东
收起评论