AI 重塑云原生应用开发实战
邢云阳
联通云 AI 与容器技术专家
1228 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 27 讲/共 28 讲
AI 重塑云原生应用开发实战
15
15
1.0x
00:00/00:00
登录|注册

26|展望:云原生网关如何进化为AI网关?

你好,我是邢云阳。
时代的车轮滚滚向前,技术的浪潮一波接一波。几年前,我还专注于容器化大数据平台的构建,思考如何在云原生架构下优化资源调度、提升计算效率。而彼时的 AI,虽然已有深度学习的浪潮,但更多还停留在实验室和少数企业的探索阶段。没想到,短短一两年间,随着生成式 AI 崛起,大模型席卷全球,重塑了软件开发、云计算,甚至整个技术生态。曾经遥不可及的智能助手,如今已能与人流畅对话,甚至辅助编写代码、优化系统架构。
但真正让我深刻感受到全民 AI 时代即将到来的,是 DeepSeek 这一波的强势崛起。以往,AI 虽然为人所知,但大多停留在技术圈内,远未达到全民热议的程度。而这次,DeepSeek 尤其是 DeepSeek-R1 的出现却像一场 AI 版的大牛市,引发了前所未有的关注——不仅技术社区在讨论,连圈外人士也争相探讨其潜力,丝毫不亚于上证指数涨到 5000 点,全民都在讨论买什么股票的热度。各大云厂商纷纷行动,我们公司也不例外,迅速跟进,在自家服务器上部署 DeepSeek-R1,并开放租赁给云用户,力图在这一波热点中,抢占先机。
我周围有朋友一直在用大模型做股票的量化选股,之前用的是 OpenAI 的模型,每天都要消耗十几美金,但切换到 DeepSeek 后,充了 100 元,竟然用了接近一个月,且效果丝毫不逊色,让朋友大呼真爽。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 云原生网关如何进化为AI网关 2. 利用Higress的灰度+观测方案实现从OpenAI平滑迁移到DeepSeek 3. Higress的灰度路由功能和API Key二次分租功能 4. 观测灰度过程在灰度迁移过程中的重要性 5. AI服务的安全调用和Higress接入阿里云的内容安全服务 6. Higress在AI微服务中的应用范式和网关进化为AI网关的意义 7. Higress网关的灰度+观测方案完成了从OpenAI到DeepSeek的平滑迁移 8. Higress在大模型迁移过程中的作用和重要性 9. AI网关工具在不断增强的大模型能力下的重要角色 10. 鼓励参与到AI网关社区建设中,共同将AI网关做得更好

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 重塑云原生应用开发实战》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • 木土
    本篇的标题是“云原生网关如何进化为AI网关”,但是本文还是主要讲解了开源社区的现有插件能力,请问老师能否分享下个人对如何进化为AI网关的见解呢,在网关产品、tob行业、技术路线等角度帮忙分享下呢?谢谢老师

    作者回复: 嗯嗯 其实在本章刚开始的文章中,我已经谈到了云原生网关到AI网关的进化,所以写本文时,恰逢赶上deepseek火热,好多人想让我讲讲,所以我就选择了如何利用云原生网关的原本能力,做AI的事情的角度,就有点标题党了,见谅见谅。 聊到进化问题,总结一下的主要是几点吧,一是网关自身的能力能否达到AI时代要求,比如长连接,大带宽,高延时,随便搞个ng 是不行的,higress 是基于istio 和envoy做的,天然就有这方面的能力;第二是AI应用相关的新要求,比如云原生网关也会有鉴权限流等功能,但到了AI时代,需要比如token级别的限流等等,所以才会开发这么多插件,去不断完善网关的功能;第三就是网关的智能化,也就是文章中讲的AI微服务,这个就属于结合网关去做产品的范畴了,比如最简单的例子,k8s管理系统,以前都是固定的前端,固定的API,但未来一定会被自然语言化的前端,或者样式可变的前端代替,目前的低代码前端的技术可能慢慢的就要被淘汰了。 在行业内落地时,首先都是从传统角度出发的,看一下higress 能否替代企业原本的网关(比原来的网关能力强),用低成本的方式,平滑迁移过来。之后才会考虑围绕AI相关的能力,做一些事情。

    2025-02-17归属地:北京
收起评论
显示
设置
留言
1
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)