26|展望:云原生网关如何进化为AI网关?

- 深入了解
- 翻译
- 解释
- 总结

1. 云原生网关如何进化为AI网关 2. 利用Higress的灰度+观测方案实现从OpenAI平滑迁移到DeepSeek 3. Higress的灰度路由功能和API Key二次分租功能 4. 观测灰度过程在灰度迁移过程中的重要性 5. AI服务的安全调用和Higress接入阿里云的内容安全服务 6. Higress在AI微服务中的应用范式和网关进化为AI网关的意义 7. Higress网关的灰度+观测方案完成了从OpenAI到DeepSeek的平滑迁移 8. Higress在大模型迁移过程中的作用和重要性 9. AI网关工具在不断增强的大模型能力下的重要角色 10. 鼓励参与到AI网关社区建设中,共同将AI网关做得更好
《AI 重塑云原生应用开发实战》,新⼈⾸单¥59
全部留言(1)
- 最新
- 精选
- 木土本篇的标题是“云原生网关如何进化为AI网关”,但是本文还是主要讲解了开源社区的现有插件能力,请问老师能否分享下个人对如何进化为AI网关的见解呢,在网关产品、tob行业、技术路线等角度帮忙分享下呢?谢谢老师
作者回复: 嗯嗯 其实在本章刚开始的文章中,我已经谈到了云原生网关到AI网关的进化,所以写本文时,恰逢赶上deepseek火热,好多人想让我讲讲,所以我就选择了如何利用云原生网关的原本能力,做AI的事情的角度,就有点标题党了,见谅见谅。 聊到进化问题,总结一下的主要是几点吧,一是网关自身的能力能否达到AI时代要求,比如长连接,大带宽,高延时,随便搞个ng 是不行的,higress 是基于istio 和envoy做的,天然就有这方面的能力;第二是AI应用相关的新要求,比如云原生网关也会有鉴权限流等功能,但到了AI时代,需要比如token级别的限流等等,所以才会开发这么多插件,去不断完善网关的功能;第三就是网关的智能化,也就是文章中讲的AI微服务,这个就属于结合网关去做产品的范畴了,比如最简单的例子,k8s管理系统,以前都是固定的前端,固定的API,但未来一定会被自然语言化的前端,或者样式可变的前端代替,目前的低代码前端的技术可能慢慢的就要被淘汰了。 在行业内落地时,首先都是从传统角度出发的,看一下higress 能否替代企业原本的网关(比原来的网关能力强),用低成本的方式,平滑迁移过来。之后才会考虑围绕AI相关的能力,做一些事情。
2025-02-17归属地:北京