大模型安全实战课
15
15
1.0x
00:00/00:00
登录|注册

09|敏感信息防范:模型会“记住”用户隐私吗?

你好,我是赵帅。欢迎来到我们课程的第 9 课。
在前面的课程中,我们探讨了大模型的安全架构和风险类型。今天,我们将深入讨论一个关键但常被忽视的领域——个人可识别信息(PII)的保护。

为什么隐私泄露是生成式大模型的常见风险?

你可能听说过一个经典案例:2023 年,意大利曾经短暂禁用过 ChatGPT,因为有用户发现 ChatGPT 在特定场景下竟然泄露了其他用户的邮箱地址和电话号码。
这种“数据再现”的问题并非个例,而是大语言模型本质机制带来的普遍风险——大模型在训练时,会尽可能地“记住”训练语料中的模式,这其中难免包括敏感的个人信息(PII,Personal Identifiable Information)。
需要说明的是,大模型的训练并不是单纯仅仅指代 pre-training,也包括 post-training(也就是我们常说的监督微调 SFT)。试想一下,我在使用大模型的时候,告知了大模型“我是一名亚洲男性,我的身高和体重的数据,我希望大模型为我制定一个健身计划……”,在日后的某个时间段内,你在使用大模型探讨某项体育运动的时候,大模型向你透露了我的个人信息,这就是我们要说的 PII 安全。
PII 安全不是模型恶意设计的,它是无意中在生成内容时将信息泄露出去,但它本身并不知道这是“隐私”。在企业级大模型应用中,比如用户在一次咨询中提供了电话号码或者身份证号,模型下一次回答类似问题时,无意识地引出了这些信息,这就导致了严重的数据隐私泄露风险,尤其是在医疗、金融、政务、工业制造等对数据敏感度极高的领域,影响更为深远。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 大模型在训练时会“记住”训练语料中的模式,可能导致数据隐私泄露风险,因此需要有效的PII保护方案。 2. 数据脱敏是保护个人可识别信息(PII)的重要手段,常见方法包括替换法、屏蔽法和泛化法。 3. 推荐使用开源工具Faker和Presidio进行数据脱敏,Faker用于生成随机数据替代真实PII数据,Presidio用于自动检测和脱敏敏感信息。 4. 在实际大模型部署场景中,应设计有效的PII保护方案,包括数据入库前强制脱敏、生产系统动态脱敏、隐私安全审计与监控以及建立数据权限与生命周期管理。 5. 进阶安全工具与技术推荐包括数据访问追踪技术、字段级加密和令牌化,以构建更完善、更严密的PII保护机制。 6. 课程总结强调了大模型在处理用户数据时可能面临的隐私风险,以及PII的保护策略和具体工具的重要性。 7. 思考题提供了针对PII泄露问题的实际案例和设计机制的思考,引发对PII保护的深入思考和讨论。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《大模型安全实战课》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • 数据脱敏也可以用godlp。
    2025-07-28归属地:山东
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)