01｜初识安全：如何理解大模型安全？

1. 大模型安全的重要性对企业数字化转型至关重要，存在安全风险，需要引起重视。 2. 真实案例揭示大模型的“失控边界”：ChatGPT和Gemini等大模型在处理敏感内容时出现的安全问题引发了公众对AI安全性的广泛关注。 3. 合规监管的到来：美国、欧盟和中国等地出台了相关法规政策对生成式AI进行监管，要求模型内容可控、可追溯，以及保护用户隐私。 4. 安全机制的重要性：企业不能被动等待问题发生再去解决，必须主动构建安全机制，以防范大模型带来的安全隐患。 5. 模型风险：不止越狱，还有人格扭曲与数据泄露。大模型的安全风险可以分为三类：提示注入风险、输出操控或人格扭曲风险、数据反泄露与训练污染风险。 6. 从输入到输出：如何构建安全闭环机制。大模型产品在安全设计上采用的工作流式防御结构，包括输入端、处理中间层、输出端的安全控制。 7. 大模型安全不再是一个单纯的技术性话题，而是融合技术伦理、社会信任、政策制定、法律治理在内的系统性工程，开发者需要对模型输出结果的边界承担更明确的责任。 8. 大模型的安全问题，最终不是“它还能不能说”，而是要问“我们愿不愿意让它代表谁来说”，任何一个负责任的技术开发者和使用者，都不应只是旁观者。 9. 大模型的时代已经到来，但大模型安全的时代是否同步抵达，还要靠我们每一个参与者共同争取。理解大模型安全的重要性，是安全建设的第一步。 10. 下节课将深入理解模型运行的底层机制，掌握风险的来源与规避。