若水清菡
2025-08-19
来自北京
如果你的模型服务平台没有日志溯源机制,你会如何补救?有哪些开源工具可以引入? 可以用户、模型、数据三方面增加日志记录, 1、用户侧,登录这边以用户uuid作为唯一traceid,记录用户登录的时间、IP等信息,通过filebeat发送到ES集群中,或者目前流行的OpenObserve,也是一种替代ES的选择; 2、模型侧,根据用户uuid记录用户发起的会话信息,包括提问和大模型回答的内容、通过logstash发到kafka队列中,然后再传到ES 3、数据侧,需要记录用户上传的图片、文件、文本等信息,和用户uuid联系起来 最终实现输入用户名可以查到用户的全部记录,包括对话、上传的文件等