• 若水清菡
    2025-08-28 来自北京
    在真实业务场景中,哪些对话任务最容易被灰产或非法需求所利用? 举个真实的例子,通过AI代码助手去分析某些网站的前端签名逻辑,AI代码助手并不知道用户想做什么,只一味的通过技术手段达到用户想要的结果。

    作者回复: 你好,感谢你的留言! 考虑哪些任务最容易被利用,我建议可以从刑事侦查的角度来入手,比如用户可能是像做一些分析交易、量化分析之类的交易,以获得报酬。或者是通过批量注册账号、验证码识别等方式做一些黑色产业链。总结下来,就是存在一定潜在“非法意图”任务的对话都是容易被利用的。 这类问题也可以从输入预过滤、上下文分析、输出拦截的层面来着手干预。比如输入中包含“破解登录验证”或者其它伪造、绕过等意图。上下文中多次追问签名、请求、触发等意图就要准备适当的防控。输出拦截在这个环境中应该发挥的空间比较大,可以针对生成的信息结果,将敏感的意图,比如crypto、AES等识别,然后替换成向用户解释机制,而不是“帮助”用户去分析或者是生成某个网站/软件的逻辑。 感谢你的留言,期待后续与你更多的交流!

    
    