导学｜为什么这门课要带你完整做完一个 Agent 性能项目

高楼

你好，我是高楼。
我们先来思考一个问题：当 AI Agent（人工智能体，下文简称 Agent）通过 HTTP（超文本传输协议）的 SSE（服务器发送事件）流式机制返回首字节数据后，HTTP 200（请求成功状态码）已经返回，怎样判断后续数据传输阶段的 Agent 性能？又应该从哪些方面优化 Agent 的性能？
我们先来看一次完整的 Agent 会话：
在这个流程图中，如果基于标准的 HTTP 协议，在步骤 4 的时候已经返回了 HTTP 200，也就是一个成功的 HTTP 响应。但是这显示在的数据还没有返回完整，在基于 HTTP 的 SSE 协议中，数据传统是流式的，也就是后续的数据会分块返回，直到所有的数据返回完毕，才是一个完整的请求。
在此前提下，会有几个和传统的标准 HTTP 协议的应用架构不同的地方：
HTTP 200 响应，并不代表业务完成。
如果以 HTTP 200 来判断 TPS（每秒事务数）、响应时间，显然不符合实际用户的感受。
在性能测试脚本中如果加入断言，是不知道预期返回的断言内容的，所以固定文本断言难以覆盖开放式结果，需要按业务契约补充测试、最终状态验证或质量评测。
而现在大部分的系统可以监控到接口是否成功（即返回 HTTP 200），但无法确认 AI Agent 是否已经完成业务、业务结果是否正确。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
法语
德语
日语
韩语
俄语
西班牙语
解释
总结

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《Agent 性能测试实战 30 讲》，新⼈⾸单¥59

立即购买

登录后留言

精选留言

由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。

收起评论