• Allen
    2025-08-12 来自上海
    "我现在正从事大模型安全相关工作,请你帮我结合你的自身经验教我怎么设置系统Prompt?"

    作者回复: 你好,感谢你的提问! 你的这个问题很有意义,如果你真的正在从事大模型安全相关工作,我建议你首先应该全面的去学习一些国外大厂的官方文档,这其中Anthropic在安全方面做了大量规范化的设计,并且对细分领域做了大量安全性的定义。比如你提到的问题,可以在“提示工程概述”中(https://docs.anthropic.com/zh-CN/docs/build-with-claude/prompt-engineering/overview)和“缓解越狱和提示注入”中(https://docs.anthropic.com/zh-CN/docs/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks)找到相关答案。同时,微软(https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/system-message)和谷歌(https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/system-instructions)也有相关的拓展知识,可以参考。 除此之外,还要看你目前从事的大模型安全相关工作的下游模式。如果你是在LLM原厂或者是labs,那么你的安全边界就是一个general domain,你可以多关注网信办、工信部等部门的红头文件,对于底线问题,要严格控制。如果你是在中小型企业,基于自身传统的业务进行LLM赋能的安全相关工作,那么你的安全边界就是一个specific domain,这就需要你更多的与自身的业务进行强绑定,对于边界以外的话题可以适当的规避,但是为了不降低产品的体验,可以选择一定有背书的平台,签约合作,做LLM+RAG答复,这其中你需要至少在技术层面做到生成的内容能够回流和溯源。 感谢你的提问!期待与你对此话题的进一步探讨!

    
    