Case9｜大模型安全方向：大模型安全挑战与实践：构建AI时代的安全防线
Sunny Duan
嘉宾介绍：Sunny Duan，京东信息安全部 AI 安全负责人，10 年以上信息安全相关经验，在京东主要负责大模型安全、大模型在安全场景的落地以及 TEE 能力建设推广工作，参与多项安全领域规范制定，由０－１构建京东大模型安全能力建设，获得多个内部及行业奖项，在大模型赋能安全方面持续探索，目前已在京东内部多个安全场景取得突破。
在 AI 时代，大模型的安全防护问题日渐凸显，如何解决大模型落地过程中面临的安全挑战是企业非常关心的问题。在 InfoQ 举办的QCon 全球软件开发大会（北京站）上，京东信息安全部 AI 安全负责人 Sunny Duan 带来了题为《大模型安全挑战与实践：构建 AI 时代的安全防线》的演讲，她介绍了大模型安全领域的关键风险，以及京东利用大模型对安全场景的赋能及实践。
以下是演讲实录（经编辑）。
大模型安全风险
根据去年年底 Gartner 发布的一份报告，大模型技术已经渡过了爆发期，开始向成熟期演变。在 2025 年的 10 大技术趋势中，虚拟信息安全位列前三。同时，Gartner 预计到 2026 年，人工智能技术整体的安全信任度与透明度会有 50% 的提升。
另一方面，2023 年时业内用于模型训练和推理的资源还较倾向于前者，推理占用的资源不到 30%。但预计到 2026 年，推理资源占比可能超过 70%，意味着 2026 年将是大模型应用广泛、成熟度较高的时间点。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 大模型安全风险对企业安全构成挑战，包括数据泄露、提示词注入、数据投毒和Agent的安全风险。 2. 京东提出解决方案，包括在训练阶段对数据进行脱敏和去毒、实时对用户输入进行检测、以及构建大模型安全Benchmark等。 3. 不同业务场景需要针对性的安全能力，因此需要根据不同场景构建不同的安全能力。 4. 京东进行内部的安全对齐工作，以确保大模型的价值观和人类的价值观对齐，从而保证模型的安全、可靠和实用。 5. 针对Agent的安全风险，京东采取了智能体安全约束、构建可信外部环境、记忆模块安全扫描、工具供应链基础安全鉴权等方法来解决风险。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《致程序员：AI 百问百答》，新⼈⾸单¥0.11
《致程序员：AI 百问百答》，新⼈⾸单¥0.11
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论