23|实践:用Wasm实现API Agent
邢云阳

你好,我是邢云阳。
上节课我们探讨了 AI Proxy 插件,该插件为网关用户提供了便捷的统一 OpenAI 协议访问各类大模型的功能,是网关 AI 应用的基石。本节课我们将在这一基础之上使用 Wasm 技术来实现上一章节中讲解的 API Agent。
网关的核心功能如图所示,它为后端 API 提供统一的访问入口和路由转发规则。外部用户通过该入口访问各个 API,而非直接暴露所有后端服务 API,从而增强了系统的安全性和可管理性。

当需要请求多个服务时,通常需要发送多条 API 请求。然而,如果在网关上集成 AI Agent,相当于为网关赋予了“大脑”。该 Agent 能够统一管理后端的所有 API,用户只需通过自然语言与网关交互,网关便会自动调用相应的 API,并将结果以自然语言的形式返回。这一过程去除了技术复杂性,使交互变得流畅自然,充分展现了 AI 微服务的魅力。

接下来,我们将进入今天的代码实践环节。
代码实践
API Agent 的实现原理我们上一章节已经详细阐述过了,这节课不再重复。我将重点结合 Wasm 的相关知识,讲解如何将上一章节的代码转换为 Wasm 版本。
总体架构
我们先来看一下总体架构设计。
在第 0 步,用户在开启插件时,需要配置 tools 等相关参数,这个在讲配置解析时再详细说明有哪些和之前不一样的参数。
公开
同步至部落
取消
完成
0/2000
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结

1. 本节课使用 Wasm 技术实现网关的 AI Agent,展现了 AI 微服务的魅力。 2. Agent 的核心思考阶段在 ResponseBody 阶段完成,非常重要。 3. 配置解析需要增加大模型相关的配置,同时增加 JSON Mode 功能,配置解析的代码主要复杂点在于 OpenAPI 文档的处理。 4. onHttpRequestBody 阶段主要用来拦截用户基于 OpenAI 协议的请求,并替换 Body 中的 messages 部分,组装 ReAct 模板的过程后,可以替换原始的 body,并恢复被拦截的请求。 5. 代码实践环节将重点结合 Wasm 的相关知识,讲解如何将上一章节的代码转换为 Wasm 版本,以实现 API Agent。 6. Agent 插件在网关上的整体架构流程和设计思路需要理清思路后,代码实现会更加顺利。 7. 代码的核心功能已经完成,掌握了 Agent 和 Wasm 的编程方法后,编写本节课的插件相对轻松。 8. 本节课使用 Wasm 完成了 Agent 功能的实现,结合前几课时的 Wasm 理论与实践,是对过去所学知识点的复习与进阶实战。 9. 本节课的代码已合并到 Higress 源码中,是今年参加阿里云天池云原生编程挑战赛附加题的作品,最终获得了18分的成绩,位列第一名。 10. 下一节课将以测试和方案介绍为主,讨论应用落地方向等等。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 重塑云原生应用开发实战》,新⼈⾸单¥59
《AI 重塑云原生应用开发实战》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论